技术博客

华为近期披露了两项重大技术突破，昇腾AI处理器引入的FusionSpec框架优化了人工智能推理过程，将任务处理时间缩短至毫秒级，显著降低延迟。同时，OptiQuant技术通过灵活的量化方法提升了推理性价比，为大规模模型快速响应提供了支持。这些创新有望加速人工智能应用的普及与性能提升。

本研究在NeurIPS 2024会议上以口头报告的形式介绍了一种新颖的推理边界（RB）框架，旨在系统性地量化和提升大型语言模型（LLMs）在思维链（Chain of Thought，简称CoT）任务中的推理能力。该框架通过精确的量化方法，探索并优化了LLMs在执行复杂推理任务时的性能极限。

最近，自动化所、清华大学和香港城市大学的联合研究团队在NeurIPS 2024会议上发表了一篇口头报告论文，提出了一种新的量化方法，用于大型语言模型（LLM）的权重和激活。该方法通过引入两种正交变换技术，有效减少了量化过程中的异常值（outliers）现象，并在4位量化精度上达到了新的最先进水平（SOTA）。这项工作标志着在大型模型低比特量化领域取得了重要进展。