Zihan Liu
刘孜涵 (Zihan Liu)
Ph.D. Student @ Peking University
我是刘孜涵，北京大学国际机器学习中心的博士生。 我的研究聚焦于大语言模型预训练，通过数学分析与受控实验，探索能够解释训练现象、指导预训练设计的机制。
同时，我也关注大语言模型后训练中具有普适性的定量规律及其机制。
研究经历 Research
大语言模型预训练动力学与理论
2025 - 2026
北京大学国际机器学习中心 | 导师：吴磊教授
- 通过理论分析与受控实验，研究大语言模型预训练中的基本规律，识别刻画训练过程的关键变量、缩放关系与动力学结构，并检验其成立条件。
- 研究有效学习率如何连接学习率、参数范数与损失动力学，以及归一化结构、可学习增益和权重衰减对这一关系的影响。
- 研究不同模型规模下损失曲线的缩放重合现象，探索其对超参数迁移和训练轨迹预测的意义。
LLM Pre-training
Optimization Dynamics
Scaling
大语言模型数学推理与推理时计算
2025.05 - 2025.12
研究实习生 | 微软亚洲研究院 (MSRA) | Mentor：Shun Zheng
- 参与 Deep Self-Evolving Reasoning 研究，将多轮自我修正建模为马尔可夫过程，分析推理时计算扩展的作用。
- 研究可验证奖励强化学习对基础语言模型正确推理能力的隐式激励，并构建区分答案正确性与推理过程正确性的评估方法。
Python
PyTorch
LLM
Reinforcement Learning
混合专家模型训练
2025
北京大学国际机器学习中心 | 导师：袁坤教授
- 参与 Grouter 研究，探索路由与表示解耦的 MoE 训练方法，完成部分实验代码。
Mixture of Experts
Routing
教育背景 Education
北京大学 · 国际机器学习中心
数据科学博士研究生
2026 - Present
北京大学 · 数学科学学院
数学学士
2022 - 2026