技术博客

在ICML 2025会议上，一项由香港城市大学、南方科技大学和浙江大学联合提出的新训练策略CoTo引发了广泛关注。该策略旨在解决LoRA（低秩适配器）在训练过程中存在的稳定性问题、模型融合效果不佳以及剪枝后性能下降等挑战。CoTo通过在训练初期随机失活部分适配器，并逐步增加其激活概率，有效缓解了层级不均衡问题，从而显著提升了模型在多任务学习、模型融合和剪枝操作中的鲁棒性与有效性。该研究成果已被机器学习领域顶级会议ICML 2025正式接收，为LoRA训练提供了新的思路和优化方向。