技术博客

来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究团队发现，大型语言模型（LLM）在预训练过程中可能出现“灾难性过度训练”现象。研究表明，随着预训练使用的token数量增加，模型调整难度加大，可能导致性能下降，这一发现挑战了传统认知。

大型语言模型（LLM）在预训练阶段可能面临灾难性过度训练的问题，这一现象被形象地称为“过劳死”。研究表明，随着预训练token数量的增加，模型调整难度加大，可能导致性能下降。CMU、斯坦福、哈佛和普林斯顿等顶尖学府的研究揭示了这一挑战，改变了对LLM预训练的传统认知。