技术博客

本文深入探讨任务算术的有效性机制，指出任务特征特化（TFS）是实现权重解耦的充分条件，而权重向量正交性（WVO）则是TFS在几何空间中的可观测表现。基于该因果关系，研究提出OrthoReg——一种极简正交正则化方法，通过显式约束权重正交性，强化任务间特征解耦，提升任务算术的泛化性与稳定性。实验表明，OrthoReg无需增加模型容量或复杂调度，即可显著改善多任务学习中权重组合的可解释性与鲁棒性。