技术博客

北京大学研究团队近期推出了一种名为Fairy2i的新型通用框架，能够对现有预训练模型进行极低比特量化处理。该技术仅需2比特即可实现复数模型的高效压缩，显著降低模型体积与计算需求，使大型模型在移动设备上流畅运行，性能接近全精度模型。这一突破有效解决了大模型在资源受限设备上的部署难题，为边缘计算与移动端AI应用提供了新的可能性。

北京大学研究团队近期提出了一种创新的通用量化框架Fairy2i，旨在实现预训练模型在极低比特率下的高效压缩。该框架首先采用广泛的线性表示技术，将实数模型转换为复数形式，进而结合相位感知量化与递归残差量化方法，在仅2比特的量化精度下仍保持接近全精度模型的性能表现。这一成果显著提升了模型压缩效率，为低比特率场景下的深度学习部署提供了新的技术路径，标志着在模型压缩与优化领域的重要突破。