技术博客

中国科学院近日发布了一款全流程基于国产GPU的类脑脉冲大模型，该模型在性能上实现了显著突破，上下文处理速度提升了100倍。该研究深入探索了脉冲神经元内部复杂的神经动力学与线性注意力模型之间的相互作用，并通过设计线性模型架构以及基于转换的异构模型架构，有效解决了脉冲驱动限制下大规模类脑模型性能退化的问题。此外，该模型还引入了动态阈值脉冲化技术，实现了对国产GPU算力集群在类脑脉冲大模型训练与推理过程中的全流程支持，为国产人工智能技术的发展提供了坚实基础。