技术博客

英伟达与伊利诺伊大学香槟分校（UIUC）的华人团队共同实现了一项技术突破，通过提出一种高效训练方法，成功将大型语言模型（LLM）的上下文长度从128K扩展至400万token，创下性能新记录。基于Llama3.1-Instruct模型开发的UltraLong-8B，在处理长上下文任务时表现出色，同时在标准语言模型任务中保持顶尖水平。这一成果为长文本生成与理解提供了全新可能性。