“儿童节日快乐。”6月1日,在2021北京智源大会上,清华大学计算机系教授唐杰送出一个祝福给团队精心打造的“悟道2.0”。他解释道:“对开发人员来说,‘悟道2.0’就是一个孩子,智商还不能达到期许的水平,但我们会继续努力完善。”
唐杰称,“悟道2.0”已经实现1.75万亿参数模型,超过之前谷歌发布的1.6万亿参数的语言模型Switch Transformer,成为当前全球最大的预训练模型。“悟道2.0”也将为广大人工智能开发者和技术企业提供智能底层功能,并形成完善的智能生态系统。
除了“悟道2.0”,唐杰还介绍了一位虚拟学生——华智冰。华智冰由北京智源人工智能研究院、智谱AI与小冰公司联合发布,师从北京智源人工智能研究院副院长唐杰,可以创作音乐,写诗作画,其背后依托的智能模型是“悟道2.0”。
“‘悟道2.0’从原来的文本为主向图文并茂发展,既可以根据图像检索文字,又实现图像和文字的互相检索,已经可以实现多项任务,包括问答、作诗、配图、配文、绘图、测图。”唐杰透露,“我们在阿里巴巴平台上做了一些测试,正在把相关的模型应用在服饰设计的业务上。”
“悟道2.0”模型包含文源、文澜、文溯、文汇,以及知识图谱。唐杰表示,“悟道2.0”首次在100%的国产超算上训练了万亿模型,打破原来只能用GPU(图形处理器)来训练模型瓶颈,同时实现了中英双语在4.9T高质量数据上运行。
通过把中文数据和多模态数据整合在一起,“悟道2.0”实现了千亿模型。唐杰指出:“该模型最大的特点是可以实现高效的计算,即在32张微板卡上训练出千亿模型,这是在算法上非常大的一个突破。”
“只有更大的数据、更大的算力,才能做出更优美的模型。”唐杰期盼,“更多感兴趣的人士参与其中,让“悟道2.0”变成非常实用的框架,研究一个最精准的算法,以及探究模型的智能基点,以实现最大的模型。”
基于“悟道2.0”与包括华智冰在内的一系列应用,唐杰希望建立一个“悟道”生态联盟,专注在模型开源、API(应用程序接口)开放以及大模型授权与定制方面做一些工作,共建开发社区,赋能产业创新。
记者获悉,“悟道2.0”由北京智源人工智能研究院牵头,清华大学智谱AI团队作为骨干参与开发。同时,智谱AI还为虚拟学生华智冰提供了融合知识和数据的双轮驱动人工智能系统,让她具有一定的认知和推理能力。小冰公司则提供了人工智能完备框架,同时负责声音、形象的开发应用。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。