跳到正文
张逸骅
文章
随记
EN
中
◐
后训练
全部
18
后训练
11
系统
5
音乐
2
旧文
20
系列
3
解剖 DeepSeek
8
GRPO 的谱系
11 篇文章
2026-11-16
关于 Trainer-Generator Mismatch,你需要知道的一切:差异来源、监控、零差异测试与故障调试
后训练
·
en / zh
·
18 个公式
GRPO 的谱系
GRPO
RL infrastructure
2026-11-11
无偏的 KL 估计,为什么给不出正确的梯度?从常见的 KL Estimator 到异步 RL 的 trainer-generator 约束
后训练
·
en / zh
·
26 个公式
GRPO 的谱系 7
GRPO
2026-10-14
使用 Score Function Centering 和 Trainer-Generator KL 稳定你的异步 RL 训练
后训练
·
en / zh
·
6 个公式
GRPO 的谱系 6
GRPO
2026-10-11
Score Function Centering:为什么 stale rollout 不一定需要 Importance Sampling
后训练
·
en / zh
·
57 个公式
GRPO 的谱系 5
GRPO
2026-10-08
Score Function Centering 深入浅出:从 Score Function 理解异步 RL 中的 Trainer-Generator Mismatch
后训练
·
en / zh
·
132 个公式
GRPO 的谱系 4
GRPO
2025-08-08
GRPO 的进化之路:从 GRPO 走向 DAPO 和 GSPO
后训练
·
en / zh
·
17 个公式
GRPO 的谱系 2
GRPO
2025-07-02
从 RL for LLM 视角重新理解 KL 估计:读《Approximating KL Divergence》笔记
后训练
·
en / zh
·
18 个公式
GRPO 的谱系 3
GRPO
2025-02-11
大语言模型 RLHF 全链路揭秘:从策略梯度、PPO、GAE 到 DPO 的实战指南
后训练
·
en / zh
·
93 个公式
RLHF
2025-02-07
DeepSeek-R1 技术剖析:没有强化学习基础也能看懂的 PPO & GRPO
后训练
·
en / zh
·
16 个公式
GRPO 的谱系 1
GRPO
RLHF
2025-01-20
千呼万唤始出来:DeepSeek-R1 如何通过强化学习实现复杂推理
后训练
·
en / zh
·
2 个公式
解剖 DeepSeek 1
GRPO
2024-12-15
给大模型打打补丁:机器反学习方法中的陷阱与痛点
后训练
·
en / zh
·
14 个公式
Unlearning