技术博客

Transformer架构的发明团队近日宣布其创业公司完成战略转型，从原有的产研并行模式转向聚焦压缩技术的研发。团队认为，实现模拟智能的关键在于高效的信息压缩，而基于预测式预训练任务的语言模型是通往该目标的合理起点。为此，他们推出了首个开源模型，旨在推动压缩技术在人工智能领域的应用与创新。此次转型标志着团队在探索通用智能路径上的新方向，也为后续高效、轻量化模型的发展提供了重要基础。