技术博客

无问芯穹公司近期推出了一系列开源推理系统，显著提升端侧与云端的推理性能。其中，SpecEE专注于提高终端设备推理速度；Semi-PD通过计算与存储半分离优化资源管理；FlashOverlap则提出一种新计算通信重叠方法，降低计算侵入性并实现通信正交性。这些工具共同推动了高效推理系统设计的发展，为新一代端到端及云到云推理系统提供了强有力支持。