作者:李惠钰 来源:中国科学报 发布时间:2025/12/26 18:39:22
选择字号:
国内首个全国产化千亿参数细粒度MoE语义大模型开源

 

近日,中电信人工智能科技有限公司和中国电信人工智能研究院(TeleAI)的星辰语义大模型研发团队宣布,国内首个全国产化训练的千亿参数细粒度MoE语义大模型TeleChat3-105B-A4.7-Thinking正式开源。

该模型采用细粒度MoE 架构,基础模型训练数据超 15T,共包括 1 个共享专家和 192 个路由专家(每次激活 4 个专家),模型整体共 105B 参数量,实际激活参数为 4.7B,专家稀疏比处于业界前列。在IFEval、Math-500、AIME2025、Tau2-Bench等十多个权威评测集上,效果对标GPT-OSS-120B、Qwen3-30B-A3B、Qwen3-32B等模型。

面对综合任务场景,TeleChat3-105B-A4.7-Thinking可高效拆解任务需求,整合多项代码能力,一次性交付出完整可运行的代码,实现代码补全、代码修改、网站和网页游戏生成等多类任务,省去大量人工调试时间投入,运行流畅,结果准确。

此外,团队还同步开源了稠密参数模型 TeleChat3-36B-Thinking ,在知识问答、逻辑推理、智能体等维度实现了能力提升,并实现了文本创作、语义理解、角色扮演等任务的针对性优化。

据了解,此前中电信人工智能科技有限公司和中国电信人工智能研究院(TeleAI)已陆续开源自研的TeleChat、TeleChat2 及 TeleChat2.5 系列模型,以传统稠密参数架构为主,模型尺寸覆盖十亿到千亿,构建了全尺寸大模型的开源布局。


 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
这里藏着一群人“向沙漠要绿洲” 近海自主高科技绿色钻探勘查装备亮相海南
全球变暖可能引发下一次冰河时代 《自然》展望2026值得关注的科学大事
>>更多
 
一周新闻排行
 
编辑部推荐博文