随着5G、AI及移动互联技术的进一步发展,各类在线视频应用已经全面融入我们的日常生活,上到天文地理,下至人文世俗,包罗万象的视听内容极大地丰富了公众的精神文化生活。不过,海量多元的视听内容跨应用、跨平台、跨终端成功传输的背后,离不开统一的视觉媒体通信标准。
既有“学以致用做接地气的科研”,将多年来视觉媒体编码和通信核心理论研究扎实落地的初衷,也有“得标准者得天下”,为国家争夺全球标准话语权的考量,自2006年起,西安电子科技大学通信工程学院多媒体通信实验室聚焦视频编码标准、视频编码优化、沉浸视觉媒体通信等领域,联合华为、OPPO、vivo、海信、小米、荣耀等头部企业,深度参与国际视觉媒体通信标准研制,为提升全球用户稳定清晰的视觉体验、提升我国在国际通信标准领域的影响力作出自己的贡献。
西电多媒体通信实验室师生成员。
目标是将“西电技术”融入“世界标准”
“第一次参与视频编码标准技术研究,起源于与华为的合作。”西电通信工程学院多媒体通信实验室负责人杨付正回忆道。
时间线拉回到21世纪初。伴随着互联网技术的发展,用户视频交互需求不断增长、视频清晰度不断提升与网络带宽资源有限、视觉数据流量消耗过大的矛盾已经逐渐显现。
2003年5月,在视频编码领域国际影响力最强的国际标准化组织ISO和国际电信联盟ITU联合制定的H.264/AVC视频编码标准落地。
“视频编码标准几乎由欧美和日韩等国家把持,标准技术背后的专利也主要掌握在他们手中”的现状,让我国以及其他国家的众多企业面临着一个的尴尬局面:要布局自身视频应用业务,就必须使用H.264/AVC视频编码标准,而这一举动的代价就是——每年要向来自欧美等国的相关机构缴纳专利费数十亿美金。
2005年,为将自研视频编码技术融入标准,在全球竞争环境中拥有更多的主动权,摆脱受制于人的被动局面,华为与西电在成立联合实验室的基础上,共同开展技术攻关。西电也因此成为视觉媒体编码领域国内最早参与国际标准研制的高校。
摆在西电多媒体通信实验室面前的,除了克服未知的技术难题外,还要面临紧张严苛的竞争流程。其一,国际标准化组织的工作以国家为单位展开,西电在多媒体通信方向提出的技术新提案,只有通过归口单位——中国电子技术标准化研究院进行备案后,才能以中国代表团的身份出现在国际标准会议上,重要性不言而喻。其二,在国际标准会议会场上,要面对的是全球数百名领域内的知名专家对提案的多轮审议,只有专家们一致认为优秀的算法才能进入代码公开和核心实验环节,并在经过多轮性能验证、多单位方案性能PK等流程胜出后,全场专家无异议的条件下,方能被相应的国际标准采纳。
这个过程不可谓不严苛。但西电并不是毫无准备。早在1999年,西电就已经开始视觉媒体编码和通信核心理论研究,积累了大量视觉信号处理及编码的研究经验,在成像、编码、传输、质量评估等领域取得了多项理论突破和技术落地应用。
2006年10月,经过充分准备,多媒体通信实验室提出的运动信息共享机制,终于第一次出现在国际标准会议的会场上,经过曲折的验证、优化和技术PK,最终被H.264/AVC视频编码标准采纳。
“刚开始提出的技术,因为缺乏芯片设计经验,缺少对内存控制的考量,虽然技术性能优异,但因为对硬件设计不够友好而被要求改进,好在经过与华为硬件设计技术专家的沟通,成功优化了算法,我们的初步尝试取得了成功。”杨付正激动地说道。
2018年4月西电专家在ITU(国际电信联盟)会场外合影。
持续创新使“西电智慧”在国际舞台上获得认可
第一次尝试的成功,给了多媒体通信实验室团队更多信心,他们开始更加积极主动地加入到标准技术研究中。2018年4月,ISO/ITU国际标准会议现场,德国Fraunhofer HHI(弗劳恩霍夫学会,欧洲最大的应用科学研究机构)作为视频编码研究的世界权威机构,首次将人工智能技术引入标准的研制,设计出了一套基于神经网络的视频编码技术。由于该方案一直存在存储空间占用过大、计算资源开销过高等弊端,经过多期的推进仍未被标准采纳。
因在人工智能视频编码领域的长期理论研究积累,多媒体通信实验室的老师和同学们潜心分析了视频特性,基于对硬件流水、存储依赖的深刻理解,他们尝试解构HHI编码技术背后的设计逻辑并给出自己的优化方案。
2019年7月,日内瓦ITU总部会场,该实验室老师霍俊彦郑重提出了对HHI方案的重大改进,“我们的改进方案能够在提高原方案性能的基础上,解决其实用性问题。”
2019年7月,日内瓦ITU总部国际会议中心会场。
提案讲解结束后,会场经历短暂的沉寂,来自HHI的专家开口说道:“I support you!”
这和以往在场专家相继举手质疑、批评声音占据主流的情境不同,一时间让霍俊彦的心里打起了鼓。
怀着惊喜、忐忑、紧张又难以置信的心情,一出会场,她就向杨付正拨打了电话:“HHI在国际标准会场上一直就像一个‘学霸’,他们的‘I support you’到底是什么意思啊?”
在随后收到的邮件中,霍俊彦确认了HHI对西电提出方案的认可,“他们惊讶于我们对这项技术更为深入的理解,主动寻求我们的帮助来解决他们的难题。”
最终,西电与HHI联合将人工智能技术首次引入到H.266/VVC视频编码标准框架中,有效提升了编码性能,“西电智慧”在国际舞台上得到充分肯定。
创新成果使“西电声音”具有行业国际标准话语权
基于多次在国际标准会场的出色表现,西电多媒体通信实验室良好的技术口碑迅速得到了学术界和工业界的认可。OPPO、vivo、海信、小米、荣耀等头部企业主动与他们寻求研发合作,也吸引了海外顶级公司如高通、谷歌等与实验室合作。
2010年开始,实验室全程参与H.265/HEVC视频编码标准研制,与高通合作为H.265/HEVC提供一整套视频+深度的高效编码平台;H.266/VVC时期,作为提案的主要贡献方,直面全球竞争,提交了80余项技术提案,将11项核心算法推入H.266/VVC标准。
而伴随着新兴沉浸视觉应用的加速涌现,以三维点云和网格为代表的下一代视觉媒体成为了国际标准化组织关注的重点。西电多媒体通信实验室团队也面向未来三维沉浸媒体的技术及标准,持续发起技术攻关,先后在沉浸式场景描述、三维点云和动态网格编码领域提出多项先进技术,并被相应标准采纳。
围绕视觉媒体编码标准研制,多媒体通信实验室瞄准科技前沿,集结力量攻坚克难,技术成果也竞相涌现。截至目前,团队累计向标准化组织提交技术提案300余项,采纳100余项,成为领域内国际标准提案接收数量最多的国内学术团体,在国际标准会场发出了强有力的西电声音。
2023年4月28日,西电多媒体通信实验室教师张伟和邹文杰分别收到国际标准化组织的任职通知,这也是国家信息技术标准化委员会派出的中国代表团专家首次在沉浸媒体编码标准研制中担任标准软件负责人的职务。
张伟介绍:“标准负责人职务一般需要由标准所在的委员会主席提名,委员会全体成员认可方可担任。我们中国代表团专家首次担任这一职务,说明了我们做出的贡献得到了标准组的高度认可。”
至此,西电已经从国际标准制定过程中的被动跟随、融入的角色,变成审议、评判标准技术的一方,在国际标准会场上,西电的话语权正不断提升。
“登高望远”助力拔尖创新人才培养
2023年4月24日,西电通信工程学院大四学生王俊杰第一次出现在土耳其安塔利亚全球标准会场第142次会议上,“China”“Xidian University”“JUNJIE WANG”的身份牌让他倍感光荣。
五天的会议,他近距离接触到张伟和邹文杰老师的工作实况,“超过100家科研机构代表阐述提案;专家现场审议2000多个技术提案,每天连续工作16小时以上是常态”;感受到了标准研制工作的严谨;也坚定了自己在标准领域继续深耕的决心。
“我切身了解了标准领域的工作模式,见到了本专业领域优秀的名人前辈,他们考虑问题的角度高屋建瓴,打开了我的思路,让我对标准及技术有了更加深入的认识。我也结识了不少优秀的同龄人,他们已经在标准会场上崭露头角,我不自觉以他们为榜样。”王俊杰感慨道。
2023年4月土耳其安塔利亚会议部分专家代表合影。
除他以外,多媒体通信实验室的杨鹤杰、孙喆、李程程等多名学生都曾前往现场,近距离感受过国际标准会议的高规格、高标准、高质量。
这是西电人才培养理论基础和实践能力两手抓的体现,也是西电在国际标准会场技术贡献、专业素养获得认可的最佳诠释。
为进一步发挥育人成效,多媒体通信实验室多位老师联合编撰《新一代高效视频编码H.265/HEVC:原理、标准与实现》《新一代通用视频编码H.266/VVC:原理、标准与实现》,分别于2014年12月和2022年8月出版后,经过多次加印仍供不应求,目前已经成为该领域内权威参考教材。
出版的学术研究专著。图片均由受访者提供
通过教师在基础理论上的悉心培养和参与标准研制过程的实践锻炼,该实验室学生的科研实践能力显著提升。其中,十余名同学以特殊人才计划的形式被研究所、互联网头部企业等抢先录用。
从最初被动融入全球标准竞争大局,到H.266/VVC阶段在标准会场上发出西电最强音,再到如今在标准组织中担任重要职务,成为未来三维媒体技术的核心力量,西电人将会始终秉承昂扬向上、笃行不怠的拼搏奋斗精神,以“千磨万击还坚韧”的勇气,在国际标准会场上发出西电声音、提出西电方案、贡献中国智慧。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。