Alignment Tax 指模型在经过安全对齐、偏好优化或产品化约束后，某些原始能力表现下降的现象。

通俗理解

一个模型可能在原始状态下更敢输出、更有探索性，但经过对齐后，会更谨慎、更符合规范，也更可能拒答、保守或给出模板化回答。

这不一定是坏事。对齐提高了安全性、可控性和用户体验，但可能带来能力上的折损。

可能表现

  • 回答更稳，但创造性下降。
  • 安全拒答增加，但有时误伤正常问题。
  • 风格更礼貌，但判断更保守。
  • 泛化更平均，尖锐能力不明显。

需要区分

  • Alignment Tax：安全和偏好约束带来的能力代价。
  • Model Regression：新版本模型在某些任务上退步。
  • Over-refusal：过度拒答。
  • 泛化平庸化：模型为了适应广泛场景，输出变得中庸和模板化。

个人理解

评价模型不能只问“安不安全”或“聪不聪明”，而要看它在具体任务中的能力、安全和可控性之间如何取舍。

本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/LLM