作者:赵广立 来源: 中国科学报 发布时间:2024-8-7
选择字号:
大模型遇“算力荒”   “超智融合”来帮忙

 

■本报记者 赵广立

论及当下计算技术的发展方向和趋势,“超智融合”当仁不让——在2024年全球“最节能超算”榜单中,位列前三的超算都采用了“超智融合”的技术理念。

顾名思义,超智融合即“采用融合架构,集成超算和智算的功能”。在当前大模型训练需要大算力不断支持的时代背景下,超智融合理念落地意义重大。然而,如何科学界定超智融合、实现超智融合的技术路径有哪些、实践中有哪些注意事项等问题,尚需进一步厘清。

为此,在近日召开的“2024中国算力发展专家研讨会”上,中国科学院院士陈润生、钱德沛,中国工程院院士郑纬民等业内专家和产业界代表共聚一堂,就“超智融合技术路线下的趋势与发展”展开研讨。

呼唤超智融合的,不只大模型“算力荒”

为满足大模型Grok3的训练需求,近日,埃隆·马斯克在美国田纳西州孟菲斯市打造超级算力集群。据报道,这一计划于2024年底落成的“算力巨兽”将集成10万块英伟达H100GPU,堪称“地表最强人工智能(AI)训练集群”。

当前,沿着“规模效应”猛增的大模型,正成为名副其实的“算力黑洞”。美国公司OpenAI与微软也在计划十万乃至百万级GPU的算力集群,以满足GPT-6的训练需求。相形之下,我国大模型训练面临着巨大的算力缺口。

在前述研讨会上,郑纬民表示,对我国而言,除英伟达GPU之外,还有两类算力集群可以支持大模型训练。一类是基于国产AI芯片的集群系统,但目前国产AI芯片的生态系统尚不完善,无形中提高了应用门槛;一类是国家超级计算设施,一些负载不饱和的国家超算系统可以利用空闲资源支持大模型训练,前提是做好软硬件协同设计,降低超算训练大模型的成本和能耗。

推进超智融合不单是缓解大模型“算力荒”的有效之策,更是顺应智能时代发展的应有之义。

北京应用物理与计算数学研究所研究员袁国兴认为,从现实发展的角度来看,超智融合理念顺应AI时代的需要。一方面,应用侧对算力的需求越来越多元化,超智融合兼具高性能计算强大的计算处理能力和智算的算法优化能力,可以满足同时需要不同算力的应用需求;另一方面,随着模型复杂度提高、覆盖范围扩大及所需精度提高,超智融合也可以提升计算与训练结果的可信度。

不要“拉郎配”,要“有机融合”

那么,超智融合应如何实现?

“超算与智算的融合是必然的,但是这种结合是在需要的时候融合,而不是生硬地凑在一起——这样不解决效率问题,是没用的。”陈润生认为,在合适时,超算和智算一定会逐渐融合,“而且是有机地融合”。

陈润生提到,超算与智算之间其实有本质的区别——超算走的是“时间复杂度”路线,智算走的则是“空间复杂度”路线。因此,他认为,我国在大模型训练上“应该在基础理论方面有所发展和创新”。

中国科学院计算机网络信息中心研究员陆忠华也谈到,超智融合不是“拉郎配”,至于如何融合,要从需求侧、供给侧同时考虑。

需求侧就是要视用户实际应用需求裁夺如何分配算力响应,供给侧则需要更高的算力服务水平。陆忠华提到,希望供给侧的算力服务提供商能够在算法、生态等方面加大投入和建设,创造更易用的软件环境,立足国产算力平台做好超智融合。

有机构预测,一直到2030年,我国年新增算力中将有70%~80%为智能算力。

“智算的猛增势必引起算力结构的变化。”国家信息中心信息化和产业发展部主任单志广说,在日益复杂的算力需求背景下,除了超智融合外,还要研究如何把云计算、超算、智算等更好地结合起来,实现多元算力融合,以满足不同应用需求。他表示,由应用驱动的算力结构演化是一个重要话题,但前提是要把它的形态、演进路径和能否发挥实效等问题弄清楚,“需要做系统化研究”。

钱德沛认为,超智融合在技术路径上需要从硬件、软件两方面综合考量,并且要在符合国情的前提下,做好软件和硬件的协同,以最佳匹配组合支持特定应用。

在他的构想中,超智融合的进程将会沿着超算支撑AI应用(for AI)、用AI技术改进超算(by AI)、超智实现内生融合(being AI)三个阶段演进。

“到了being AI阶段,计算机系统将内生智算属性,或者说智能是计算机的核心属性和基本组成,它的智能化水平可能远超今天的超算或智算。”钱德沛说。

超智融合的探索实践:国家超算互联网

今年4月,国家超算互联网平台正式上线。

这是超智融合理念在网络层面的一个生动实践。近年来,在“算力经济”驱使下,全国各地出现了大大小小的超算、智算和数据计算中心。在国家超算互联网平台上,分布于全国的超算、智算中心等被连接起来,分散化的算力通过智能调度实现互联互通,并最终转化为社会发展所需的高效、便捷的算力服务。

据了解,自正式上线以来,已有超过200家应用、数据、模型等服务商入驻国家超算互联网,并提供超过3200款商品。这些商品覆盖科学计算、工业仿真、AI模型训练等领域,可满足全社会对先进计算服务的需求。

“很多科学计算需要AI技术,不少AI应用也需要高精度、混合精度的计算。未来,单一精度的计算会减少,混合精度的计算将成为主流。”国家高性能计算机工程技术研究中心副主任曹振南说,“多元融合、超智融合将是算力基础设施发展的重要趋势。”

《中国科学报》 (2024-08-07 第3版 综合)
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
读文献和模仿:科研新手正确开启学术之路 韦布观测到巨行星
烧毁的卫星正在污染大气 数百个包含种族歧视的植物名称将被改变
>>更多
 
一周新闻排行
 
编辑部推荐博文