本报讯（记者赵广立）近日，中国科学院自动化研究所研究员李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上，与沐曦MetaX合作，打造了类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0）。据介绍，这是一款不必遵循“规模法则”的新型大模型架构，为大模型提升复杂度和性能提供了一条全新的可行路径。

研究人员表示，目前“瞬悉1.0”已在国产千卡GPU算力平台上完成全流程训练和推理，使大模型在超长序列推理上实现了数量级的效率和速度提升，展示了“构建国产自主可控的新型非Transformer大模型架构生态的可行性”。

据了解，当前市面上的大模型几乎全部基于Transformer架构训练而成。这些大模型在“规模法则”驱动下，需要通过增加网络规模、算力资源和数据量等提升模型智能水平。

“这些大模型的基本计算单元为简单的‘点神经元模型’，我们将此路径称为‘基于外生复杂性’的通用智能实现方法。”李国齐告诉《中国科学报》，Transformer架构的固有缺陷，导致模型在训练时的开销会随序列长度呈平方级增长，且在推理时显存占用会随序列长度线性增加，这构成了资源消耗的主要瓶颈，导致其处理超长序列的能力受限。

在此背景下，研究团队借鉴大脑神经元内部复杂工作机制，提出“基于内生复杂性”的大模型构架方式，并打造了类脑脉冲大模型“瞬悉1.0”。该模型在理论上建立了“脉冲神经元内生动力学-线性注意力模型”之间的联系，揭示了现有线性注意力机制是树突计算的特殊简化形式，从而清晰展示了一条不断提升模型复杂度和性能的新型可行路径。

研发团队构建并开源了基于脉冲神经元、具有线性的新型类脑模型SpikingBrain-1.0-7B，以及混合线性复杂度的新型类脑基础模型SpikingBrain-1.0-76B（激活参数量12B），并开发了面向国产GPU（沐曦MetaX曦云C550）集群的高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

李国齐介绍，“瞬悉1.0”在多个核心性能上实现了突破。首先，它只需极少的数据量即可实现高效训练，能以约为主流大模型2%的预训练数据量，实现与众多开源Transformer模型在多任务语言理解、中文多任务语言理解、常识推理能力任务上媲美的性能。其次，其推理效率可实现数量级提升，例如SpikingBrain-7B模型在100万Token长度下，生成第一个Token所需时间（TTFT）相比Transformer架构加速26.5倍，400万Token长度下加速超过100倍。再次，它实现了国产自主可控类脑大模型生态的构建，表明了构建国产自主可控的新型非Transformer大模型架构生态的可行性。最后，它实现了基于动态阈值脉冲化的多尺度稀疏机制，为低功耗的类脑大模型运行提供有力支撑。

据介绍，这是我国首次提出大规模类脑线性基础模型架构，并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。研发团队提出的新模型解决了脉冲驱动限制下的大规模类脑模型性能退化问题，其超长序列处理能力在法律/医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有潜在效率优势。