跳到正文
张逸骅
文章
随记
EN
中
◐
系列
GRPO 的谱系
阅读顺序
2025-02-07
DeepSeek-R1 技术剖析:没有强化学习基础也能看懂的 PPO & GRPO
后训练
·
en / zh
·
16 个公式
GRPO 的谱系 1
GRPO
RLHF
2025-08-08
GRPO 的进化之路:从 GRPO 走向 DAPO 和 GSPO
后训练
·
en / zh
·
17 个公式
GRPO 的谱系 2
GRPO
2025-07-02
从 RL for LLM 视角重新理解 KL 估计:读《Approximating KL Divergence》笔记
后训练
·
en / zh
·
18 个公式
GRPO 的谱系 3
GRPO
2026-10-08
Score Function Centering 深入浅出:从 Score Function 理解异步 RL 中的 Trainer-Generator Mismatch
后训练
·
en / zh
·
132 个公式
GRPO 的谱系 4
GRPO
2026-10-11
Score Function Centering:为什么 stale rollout 不一定需要 Importance Sampling
后训练
·
en / zh
·
57 个公式
GRPO 的谱系 5
GRPO
2026-10-14
使用 Score Function Centering 和 Trainer-Generator KL 稳定你的异步 RL 训练
后训练
·
en / zh
·
6 个公式
GRPO 的谱系 6
GRPO
2026-11-11
无偏的 KL 估计,为什么给不出正确的梯度?从常见的 KL Estimator 到异步 RL 的 trainer-generator 约束
后训练
·
en / zh
·
26 个公式
GRPO 的谱系 7
GRPO
2026-11-16
关于 Trainer-Generator Mismatch,你需要知道的一切:差异来源、监控、零差异测试与故障调试
后训练
·
en / zh
·
18 个公式
GRPO 的谱系
GRPO
RL infrastructure