技术博客

在模型压缩过程中，大型语言模型（LLM）虽通过参数精简降低计算开销，却可能隐性引入自身偏好，导致推理偏移。这种偏差引入并非偶然，而是源于蒸馏、剪枝或量化等压缩操作对原始模型决策边界的扰动——尤其当教师模型存在固有数据偏差或行为倾向时，压缩后的轻量模型易将其固化甚至放大。实证研究表明，部分压缩后模型在性别、地域及文化相关任务上的偏差率较原模型上升达12%–18%。因此，模型压缩不仅是技术减法，更需纳入偏好审计与偏差校准环节。