核心

• 浮点数精度
• 数值稳定性
• 梯度裁剪（Gradient Clipping）
• 学习率调度

大模型应用

防止梯度爆炸 / 消失

• 大模型层数深，计算量大，数值稳定性问题尤为突出。

BFloat16 / FP16 训练

• 理解不同精度浮点数对模型训练的影响。

优化器选择

• 某些优化器在数值上更稳定。

---

贡献者

• Mira190贡献 2 次 · 最近 2025/09/13
• longsizhuo贡献 1 次 · 最近 2025/09/26

---

Involution Hell© 2025 byInvolution Hell Communityis licensed underCC BY-NC-SA 4.0