技术博客

李飞飞团队提出了一种名为“嫁接”的创新技术，专注于在小计算预算下优化预训练的Diffusion Transformers（DiTs）架构。通过替换模型中的特定算子（如多层感知器MLP），该技术能够构建混合架构，无需重新训练模型即可实现性能提升。研究表明，这种方法不仅可将模型深度减半，还能显著降低计算成本，同时保持甚至提高模型性能，为资源受限环境下的模型设计提供了新思路。