该研究论文登上《自然—光子学》封面

衍射光电智能计算体系构架和理论方法在很大程度上解决了领域内困扰已久的难题，为研发高性能光电智能处理器和芯片打开了更为广阔的空间，也为促进该领域的发展及其产业落地做出了一定贡献。

■本报记者 袁一雪

在过去的十年，电子驱动的计算处理器对人工智能（AI）发展产生了巨大影响。但随着技术的发展，电子硬件的性能即将触摸到“天花板”，而只有突破“天花板”才能让人工智能发展更进一步。

能够替代电子驱动计算处理器的光学计算处理器，一直为研究人员所倚重。它不仅能够克服电子学的固有限制，还可以将能效、处理速度和计算吞吐量提高几个数量级。

目前，已经有研究人员利用光学计算的特性，构建专用光学处理器，其在数据和信号处理方面所表现出的性能远远超过现在的电子处理器。然而，现有的光学AI加速器只能为特定神经网络体系结构或特定任务定制单一功能。换言之，对于不同任务的不同AI算法，现在的“设备”显得有些“力不从心”。不仅如此，现有的光神经网络模型复杂度和实验性能水平较低，导致网络性能（如分类精度）与最先进的电子神经网络相比存在较大差距。

近日，中国工程院院士戴琼海团队提出了一种光电可重构计算模式，针对光学网络设计空间的灵活性有限、难以集成理想的非线性运算，以及难以灵活控制复杂的数据流等问题提出了新的解决思路。

将AI加速处理器推向新高度

5月5日，这篇第一作者是清华大学博士研究生周天贶、通讯作者为戴琼海的论文登上《自然—光子学》期刊封面。该论文作者之一、清华脑与认知科学研究院及未来芯片技术高精尖创新中心特聘研究员林星在接受《中国科学报》采访时表示，针对现有光学神经网络模型复杂度低、可重构难以实现以及实验性能不佳等难题的关键原因，该团队通过以下三方面进行了突破：

首先，该团队在空频域开辟了衍射光学计算的新型光电计算构架。“衍射智能光计算构架，缩写为DPU，是基于光学衍射的物理现象，通过构建大规模的光学相控阵列以实现高复杂度的光学互联和神经网络构架。其原理具备高度的可扩展性和集成潜力。”林星解释道，“我们这次的研究工作通过采用高通量可编程的光电器件，融合光计算和电计算的互补性优势，将其在构建人工智能加速处理器的应用推向了一个新的高度。”

其次，这次提出的DPU充分利用了光的波粒二象性，神经网络权重的调整通过控制光波传播的波前分布来实现，采用光电效应实现人工神经元的功能，包括对衍射光场的线性加权求和以及非线性激活响应。林星解释说，系统运行过程衍射光计算部分几乎承担所有计算操作，而采用高通量可编程的光电器件并结合电子计算的灵活特性，能够实现高速数据调控及大规模网络参数的编程和网络结构的重构。此外，由于光计算部分采用了三维光场传播，避免了对图像和视频的向量化处理和寻址操作，从而实现了视觉信息的高效处理。

最后，此次研究提出了一种自适应在线训练方法来校正系统误差累积，而这种自适应的训练方法通过测量神经网络内部的状态实现对计算参数的实时调整。因此，在不依赖网络结构且不增加系统复杂度的情况下，该DPU能够普适于现有的光电智能计算系统。

“可以说我们这次研究工作所提出的衍射光电智能计算体系构架和理论方法在很大程度上解决了上述领域内困扰已久的难题，通过构建原型系统及可扩展性分析验证了光电智能计算的优越性和巨大潜力，为研发高性能光电智能处理器和芯片打开了更为广阔的空间，也为促进该领域的发展及其产业落地做出了一定贡献。”林星补充道。

分类识别精度有所提升

取得这样的成绩并不容易。事实上，在研究之初，该团队研究人员就已经对前路的崎岖有着充足的心理准备。“我们的研究目标是要通过解决光电智能计算领域中的难点问题，提高其在执行分类和识别等任务上的模型与实验精度。”林星回忆说。

起初，研究人员构建的全连接的网络模型性能有限，也曾经受到系统不稳定的困扰。不过，解决问题的过程就是团队不断创新的过程。团队成员经过反复讨论并调整光电神经网络构架和超参数，最终创建了网络中网络模型。“我们的光电神经网络在MNIST手写数据集和Fashion-MNIST时尚产品数据集上的模型精度都超越了卷积神经网络LeNet-4，并逼近LeNet-5。”林星表示。

而且，通过不断进行的硬件系统优化，包括更换所采用的光电器件及其相应机械固定件设计等，以及开发自适应训练算法，研究人员也提升了系统实验的稳定性。

“此外，我们也花了大量的时间优化和升级光电器件的数据接口，以提升系统带宽和数据调控速度，最终实现了高速的图像和视频的分类识别。”林星告诉记者，“运行同样的神经网络，光电计算系统与特斯拉V100图形处理器(GPU)相比，计算速度提高了8倍，系统能效提升超过1个数量级，核心模块计算能效则能够提升4个数量级。”

有望让我国在新一轮科技变革中占得先机

“长期以来，我国在电子计算以及芯片领域受到高精度光刻机等制约，一直处于落后位置。光电计算为我国摆脱这一制约提供了可能。”戴琼海告诉《中国科学报》，“光电智能计算与芯片是一个非常广阔的前沿研究领域，这需要多学科的交叉融合。希望我们的研究工作能够吸引国内更多不同背景的科研人员和研究机构从事这个领域的研究，从而推动我国在该领域学术圈乃至产业生态圈的建设。”

戴琼海团队抓住光学计算与芯片发展的机遇，在其原理验证和原型系统的构建等方面率先展开了原创性的研究工作，所提出的计算范式将促进领域光电材料、光电器件、加工工艺以及集成方法的研发。

谈及未来，戴琼海与林星皆表示，将进一步挖掘光电智能计算技术的潜力，致力于解决系统小型化和芯片集成的难点问题。“我们将使用超材料构建片上相控阵列实现原型系统的芯片集成，从而更为全面地体现光电智能计算的优越性。”戴琼海说。

巴黎中央理工—高等电力学院教授Daniel Brunner与瑞士联邦理工学院洛桑分校教授Demetri Psaltis认为，这项研究的准确性与能源效率，都可以和竞争性数字NN基准测试模型以及现代GPU相媲美，并证明了光学解决方案与未来高性能计算的相关性。“这项研究的非线性运算放大了数据表示的维数，最终使NN能够挖掘出隐藏的特征，进而利用它们来进行具有挑战性的计算。尽管其互连受到严格限制，但是它们通过级联多层实现了竞争性能。”

“这一工作属于我们研究路径规划中的阶段性成果。我们预期最终集成化的光电智能芯片能够实现光载海量信息的实时处理，将极大促进其在终端计算、边缘端计算、数据中心的应用，推动自动驾驶、机器人技术领域的发展。其中，小型化的空间光智能光电计算系统可应用于空间光通信，与视觉成像系统融合实现光载视觉信息（包括高维光谱视觉信息及光场视觉信息）的实时处理。同时，集成化的光电智能计算系统还能够和光纤通信融合，实现大规模光信息的高效处理，应用于无线通信、云计算和数据中心等领域，从而引领新一代智能产业和信息技术的变革。”林星展望道。

相关论文信息：https://doi.org/10.1038/s41566-021-00796-w