作者:杨阳 来源:澎湃新闻 发布时间:2023/4/13 20:07:17
选择字号:
微软开源DeepSpeed Chat帮用户训练模型

 

微软宣布开源DeepSpeed Chat,训练速度可提升15倍以上。

当地时间4月12日,微软宣布开源系统框架DeepSpeed Chat,帮助用户训练类似于ChatGPT的模型。与现有系统相比,DeepSpeed Chat的速度快15倍以上,可提升模型的训练和推理效率。

ChatGPT是OpenAI于去年11月推出的聊天机器人,其训练基础是为RLHF(Reinforcement Learning from Human Feedback),即基于人工反馈进行强化学习。

对于想要开发类似于ChatGPT模型的研究人员而言,难题之一是市面上缺乏支持端到端的RLHF系统框架。为此,微软开源其系统框架DeepSpeed Chat,帮助数据科学家和研究者更易于使用ChatGPT类型的模型。

据介绍,DeepSpeed Chat能够简化ChatGPT类型模型的训练过程、强化推理体验。其中的DeepSpeed-RLHF系统能够在推理和训练两种模式之间进行切换,使复杂的RLHF训练速率更快、易于大规模推广。

根据微软,DeepSpeed-HE比现有系统快15倍以上,且成本更低。在微软云Azure上,该系统只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个OPT-30B模型,且这两种训练分别花费不到300美元和600美元(OPT为脸书母公司Meta发布的语言模型)。

此外,面对于拥有1750亿参数的模型,DeepSpeed-HE的训练时间只需不到一天的时间。

对于微软开源DeepSpeed Chat,海外知名科技社区Hacker News的用户总结道,微软不仅向OpenAI投资了100亿美元,同时还为公众提供一种免费工具,帮助他们研发OpenAI同款产品。也有用户认为,微软选择开源DeepSpeed Chat,是为了在业内获得领先优势。

还有用户认为这一系统框架前景可期,“我可以预见,未来每家公司都会拥有自己的‘AI模型助理’,其能够定期对公司内部数据进行培训或更新。公司的电子邮件、slack/team消息、文档等或许都将成为AI模型的数据来源。”

微软和OpenAI的合作可以追溯到2019年,在这一年OpenAI获得了微软10亿美元的投资,并对微软独家授权部分AI技术,双方合作替微软云Azure开发人工智能技术。

今年2月初,微软推出搭载ChatGPT同源功能的新版必应(Bing),使得该软件的全球下载量在一夜之间猛增10倍,并蹿升至苹果App Store应用商店最受欢迎的免费应用榜中的第十位。

(原标题:《人人都能GPT!微软开源DeepSpeed Chat帮用户训练模型》)

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
粉色饭来了,它是肉还是米? 土卫一存在地下海洋
迄今最小恒星,半径仅约地球7倍 科研人员在粤港澳大湾区发现齿菌新物种
>>更多
 
一周新闻排行
 
编辑部推荐博文