作者:赵广立 来源:中国科学报 发布时间:2025/9/9 16:02:26
选择字号:
无视“规模法则”!类脑脉冲大模型“瞬悉1.0”问世

 

近日,中国科学院自动化研究所(以下简称自动化所)研究员李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上,与沐曦MetaX合作,打造了类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)。据介绍,这是一款不必遵循“规模法则”(Scaling law)的新型大模型架构,为大模型提升复杂度和性能提供了一条全新的可行路径。

研究人员表示,目前“瞬悉1.0”已在国产千卡GPU算力平台上完成全流程训练和推理,实现了大模型在超长序列推理上数量级的效率和速度提升,展示了“构建国产自主可控的新型非Transformer大模型架构生态的可行性”。

类脑脉冲大模型瞬悉1.0问世。自动化所 制图

  ?

据了解,当前市面上的大模型几乎全部基于Transformer架构训练而成,这些大模型在“规模法则”(Scaling law)驱动下,需要通过增加网络规模、算力资源和数据量等来提升模型智能水平。

这些大模型的基本计算单元为简单的‘点神经元模型’,我们将此路径称为‘基于外生复杂性’的通用智能实现方法。”李国齐告诉《中国科学报》,Transformer架构的固有缺陷,导致模型在训练时的开销会随序列长度呈平方级增长,且在推理时显存占用也会随序列长度线性增加,这构成了资源消耗的主要瓶颈,导致其处理超长序列的能力受限。

在此背景下,李国齐、徐波团队借鉴大脑神经元内部复杂工作机制,提出“基于内生复杂性”的大模型构架方式,并打造了类脑脉冲大模型“瞬悉1.0”( SpikingBrain-1.0)。该模型在理论上建立了“脉冲神经元内生动力学—线性注意力模型”之间的联系,揭示了现有线性注意力机制是树突计算的特殊简化形式,从而清晰地展示了一条不断提升模型复杂度和性能的新型可行路径。

进一步地,研发团队构建并开源了基于脉冲神经元、具有线性的新型类脑模型SpikingBrain-1.0-7B,以及混合线性复杂度的新型类脑基础模型SpikingBrain-1.0-76B(激活参数量12B),并开发了面向国产GPU(沐曦MetaX曦云C550)集群的高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

李国齐介绍说,瞬悉1.0在多个核心性能上实现了突破。首先,它只需极少的数据量即可实现高效训练,它能以约为主流大模型2%的预训练数据量,实现与众多开源Transformer模型在多任务语言理解、中文多任务语言理解、常识推理能力任务上相媲美的性能。其次,其推理效率可实现数量级提升,例如SpikingBrain-7B模型在100万Token长度下,生成第一个Token所需时间(TTFT)相比Transformer架构加速达到26.5倍,400万Token长度下加速超过100倍。第三,它实现了国产自主可控类脑大模型生态的构建,表明了构建国产自主可控的新型非Transformer大模型架构生态的可行性。第四,它实现了基于动态阈值脉冲化的多尺度稀疏机制,为低功耗的类脑大模型运行提供有力支撑。

据介绍,这是我国首次提出大规模类脑线性基础模型架构、并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。研发团队提出的新模型解决了脉冲驱动限制下的大规模类脑模型性能退化问题,其超长序列处理能力在法律/医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有潜在的效率优势。

徐波表示,自动化所本次发布的新型大模型为新一代人工智能发展提供了一条非Transformer架构的全新技术路线,有望启迪更低功耗的下一代神经形态计算理论和芯片设计。

另据了解,研究团队目前已开源了SpikingBrain-1.0-7B模型并开放SpikingBrain-1.0-76B测试网址,同步公开了经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告(下附链接)。

相关报告链接:

网络端的试用端口网址

https://controller-fold-injuries-thick.trycloudflare.com 

中英文技术报告网址

https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf 

https://arxiv.org/html/2509.05276v1 

模型代码网址

https://github.com/BICLab/SpikingBrain-7B 


 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
类脑脉冲大模型“瞬悉1.0”问世 油菜素内酯调控棉纤维伸长的机制
基因“开关”控制植物细胞器演化速度 研究实现常温氢气异裂
>>更多
 
一周新闻排行
 
编辑部推荐博文