技术博客

中国科学院近日发布了一款名为SpikingBrain的类脑大模型，该模型借鉴了大脑的信息处理机制，在处理超长序列数据时展现出了显著的速度优势，特别是在GPU上运行时。在处理1M长度的数据时，SpikingBrain的推理速度（TTFT）比主流大模型快26.5倍；而在处理4M长度的数据时，速度提升保守估计超过100倍。这一成果标志着全流程国产GPU在性能上取得了重大突破，实现了上下文提速100倍的显著进步。