作者:赵广立 来源:中国科学报 发布时间:2025/8/4 18:48:21
选择字号:
手机就能跑!腾讯推出4款可端侧部署的开源模型

 

8月4日,腾讯混元宣布开源4款小尺寸模型,参数规模分别为0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗端侧场景,且支持垂直领域低成本微调。

据介绍,新开源的4个模型属于融合推理模型,具备推理速度快、性价比高的特点,用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出;而慢思考涉及解决复杂问题,具备更全面的推理步骤。效果上,四个模型均实现了跟业界同尺寸模型的对标,特别是在语言理解、数学、推理等领域有出色表现。

这4款模型的亮点在于agent和长文能力,模型支持上下文窗口可达256k,可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容,在实际应用中可胜任深度搜索、excel 操作、旅行攻略规划等任务。

腾讯方面表示,目前这4款模型已经在腾讯多个业务中应用,可用性和实用性经过了实践检验,是真正实用的模型。如,腾讯手机管家利用小尺寸模型可提升垃圾短信识别准确率,实现毫秒级拦截,隐私零上传。部署要求上,这4个模型均只需单卡即可部署,部分个人电脑、手机、平板等设备可直接接入。并且,模型具有较强的开放性,主流推理框架(如SGLang,vLLM and TensorRT-LLM)和多种量化格式均能支持。

近期,全球开源社区分外热闹,中国大模型表现抢眼。腾讯混元大语言模型也在持续推进开源,参与技术社区的共建之中,其开源模型已覆盖文本、图像、视频和3D生成等多个模态。腾讯方面表示,开源是腾讯混元大模型长期坚持的方向,未来腾讯混元也将不断提升模型能力,继续积极拥抱开源,加速产业落地和应用。

目前,4款模型均在Github 和 HuggingFace 等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。


 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
微型中微子探测器有望检验物理定律 一道“超级闪电”刷新最长闪电纪录
量子电池理论研究取得新进展 《科学》(20250731出版)一周论文导读
>>更多
 
一周新闻排行
 
编辑部推荐博文