技术博客

DeepSeek开源项目进入第二天，作为全球首个专为MoE（Mixture of Experts）模型设计的EP通信库，DeepSeek优化了动态专家选择过程。相比传统的张量并行（TP）和流水线并行（PP）方法，EP通信库显著提升了计算资源利用率，减少了GPU空闲时间，使大规模MoE模型的训练和推理更加高效。