作者:邵文 来源:澎湃新闻 发布时间:2023/5/27 16:05:00
选择字号:
微软崔宏禹:GPT-4以后,不建议再用微调进行模型适配

 

5月26日,微软(中国)有限公司创新技术总经理崔宏禹在上海举行的向星力·未来数据技术峰会(FDTC)上回应了当下一个广泛被提及的问题,即如何用自己的数据训练自己的模型,将私域数据与GPT的能力相融合。

崔宏禹解答道,“一般来说,我们推荐两种方式。一种是微调(在不改动预训练模型的基础上,在模型顶层增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景),但在GPT-4以后,我们已经不建议或者已经不让大家使用微调的方式了。我们更推荐的是嵌入(将一个内容实体映射为低维向量,从而可以获得内容之间的相似度)的方式。”

在会上,崔宏禹谈起微软跟OpenAI合作背后的故事,以及合作以后微软的变化和思考逻辑。

以下为澎湃科技(www.thepaper.cn)整理的演讲实录,有删减:

我想讲一讲背后的一些故事,我们为什么选择和OpenAI合作,选择跟OpenAI合作以后,微软有一些什么样的变化和思考。

大家知道微软投了OpenAI,而且是和OpenAI独家合作,为什么当时有这样的决策?是因为我们已经看到这个技术对未来的产品、服务起到的加速作用。当然,这个决策过程是非常纠结的。

大家知道,微软在2019年给了OpenAI第一笔投资,实际上在2018年,我们内部就在做要不要投OpenAI的决策,那个时候CFO(艾米·胡德)是反对的,她觉得微软有这么多做人工智能的团队,为什么还要去投一个初创公司,微软自己也有团队在做大模型,为什么还要投初创公司?当时CEO(萨提亚·纳德拉)没有办法说服CFO向OpenAI投资,他就利用他的老关系,把GPU交给OpenAI去做测试和训练。因为这个原因,所以才有了后面的合作。

在这个基础之上,和OpenAI合作以后,要么“all in”,要么“走人”。为什么这么说?大家可以发现,最近微软的产品更新换代特别快,这不是我们以前心目中对微软产品发布的印象。比如GPT-4刚出来两个礼拜,我们就宣布在大家最熟悉的微软Office中加一个Copilot,背后由GPT-4模型支持。再加上前天的微软技术大会,我们正式宣布在下一个版本的Windows中也要加入Copilot,背后也是有GPT-4的加持。也就是说,我们所有的产品都会“all in”,如果不这样做,就“走人”。

这给了我们一个启示,在现阶段,尤其是在目前人工智能的阶段,要积极地拥抱新技术,要敢于去尝试,只有当你去尝试的时候,才会发现中间的很多问题,才知道这个事情的关键在什么地方。

目前OpenAI全部的产品线和服务在微软的公有云平台上都有体现,为什么要这样做?OpenAI为什么自己不能提供这些服务?

背后的逻辑是这样的,OpenAI和微软的合作首先要解决商业化问题。因为OpenAI是一个初创公司,专注在其产品线的开发上,但在商业领域还有很多要解决的问题,比如数据的合规性、安全性、隐私性,服务水平、解决方案的全面程度等,而OpenAI作为初创公司,它的现金流可能不放在这里,跟微软合作恰恰能解决这些问题。最近ChatGPT在意大利被禁止使用,就是因为存在数据隐私和安全的问题。OpanAI希望通过跟微软的合作,利用微软在安全合规、隐私解决方案方面的能力来帮它解决。

现在有一个问题,如何用自己的数据训练自己的模型,把私域的数据融合到GPT能力里?也就是说对特定领域的数据进行模型适配。

一般来说,我们推荐两种方式。一种是微调(fine-tune,在不改动预训练模型的基础上,在模型顶层增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景),但在GPT-4以后,我们已经不建议或者已经不让大家使用微调的方式了。因为我们不认为外面的一个组织、一个公司通过微调方式训练出的模型,比这家公司自己训练出来的能力还要好。我们更推荐的是嵌入式(embedding,将一个内容实体映射为低维向量,从而可以获得内容之间的相似度)的方式。嵌入式方式的原理很简单,把企业内的私有数据和文档做向量化或矢量化(嵌入向量可以捕获单词、短语或文本的语义信息,使得它们可以在数学上进行比较和计算),然后去做匹配(两个向量之间的距离用于测量它们之间的相关性,较小距离表示高相关性,较大距离表示低相关性),相似度在0.3以下就认为这个信息的检索已经非常准确。

在大模型应用中有一个叫嵌入式应用,实际上就是Copilot,即驾驶辅助的角色。这个模型非常简单,在底层基础能力的加持下,在中间这层AI编排的机制下,再往上走,就可以提供一个Copilot服务,再加上插件的应用,就可以应用在现有的系统,只要有插件就可以方便地把数据接入进来,相当于在原有的系统之外构建了一个辅助驾驶。

微软的系统为什么发展得这么快?就是利用了这套架构。当然也有插件,我们觉得OpenAI的插件系统未来会改变商业模式和游戏规则。如果你们用过微软最新的必应搜索就可以发现,在对话过程中它可以跟网站交互获取大量实时数据。以后必应会改变整个应用的生态和游戏规则。

在此基础之上,我们怎么看这个世界?

第一,GPT背后,一部分是技术的加持,另一部分是人才、资源、文化。这一点说明我们离不开企业非常优秀的数据,离不开这些技术模型。但同时,我特别想强调一点,如果我们这个公司的人没有开放的心态去拥抱新技术、拥抱新产品,那这个事情可能也做不了。ChatGPT之所以成功,它是源自于这三方面的成果。这一点,我想,对很多企业可能有一定思考价值。有了最新的技术,有了非常良好的数据,但如果企业没有这样的文化,可能也是有问题的。

第二,大模型要实现平民化。OpenAI就是想让AI真正Open,让边际成本急剧降低。2012年以后,人工智能兴起,深度学习兴起,但那时候每一个SKU(最小存货单位Stock Keeping Unit,比如销量数据都是以SKU为单位收集,建立预测模型就要为每个SKU单独训练一个模型)都要单独去做训练,我们做了太多的项目都是这样,成本很高。但是新的AIGC(人工智能生成内容)的模型是通用化的模型,降低再训练的成本,实际上是把边际成本急剧降低。只有当大家都能用的时候,才能说这是人工智能时代,如果只有少数人在用,那不叫一个时代。

微软也是这么做的,M365(Microsoft 365,基于Microsoft Office 办公室套件的云端办公室方案)就是用这个方法来实现的。在原来微软的Office加了一个Copilot,左下角有一个Graph(存储了电子邮件、文件会议、聊天和日历笔记等office办公软件集合的所有内容),相当于M365下的知识库,通过中间的Copilot能够迅速构建知识库和文档之间的合作关系。这样可以实现,在Windows文档中输入几句话,比如简要概述一下研究报告的核心思想,就可以把报告总结成5页PPT。等它正式上线以后,大家可以体会一下,会急剧提高生产力。

最根本来说,它就是把人不擅长的事情机器化了。我们知道人在面对自己解决不了的问题时,一定要求助于工具,生活中是这样,IT行业也是这样,让人类教会机器来做人类不擅长的事情。我想引用管理学大师德鲁克先生(彼得·德鲁克)的一句话,动荡时代的最大风险不是动荡本身,而是企图以昨天的逻辑来应对动荡。

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: