近日,中国海洋大学信息科学与工程学部教授顾永建团队在国际计算机和人工智能顶级期刊《模式分析与机器智能汇刊》上在线发表关于量子门控循环神经网络研究的最新成果。
量子计算作为全球科技竞争的前沿领域,近年来备受关注。探索近期含噪声中等规模量子(NISQ)计算机的优势应用,是当前的核心研究方向之一。量子计算可以为人工智能提供指数级加速,量子神经网络作为量子计算与人工智能交叉领域的研究热点,不仅是探索NISQ计算机优势应用的主要方向之一,也是推动人工智能技术发展的重要手段。
展现量子神经网络相比传统经典模型在理论与应用中的优势,对加速量子计算和人工智能的实际应用具有重要意义。
在量子神经网络中,“高原贫瘠现象”是其面临的主要挑战之一。该现象指当量子神经网络规模增大时,其损失函数的梯度在参数空间的大部分区域有可能趋近于零,导致优化算法难以更新参数,从而陷入优化停滞状态,这限制了量子神经网络在实际复杂问题中的扩展能力。另一方面,经典深度神经网络也面临类似挑战,即梯度消失和梯度爆炸现象,特别是在循环神经网络处理长序列数据时,模型难以捕获长序列中的远程依赖关系,导致“长期依赖问题”。
针对这些挑战,团队提出了一种全新架构的量子神经网络模型——量子门控循环神经网络(QGRNN)。该模型融合了变分量子算法和经典循环网络的优势,构建了带有门控机制的量子循环神经网络架构,在理论与实际应用层面均取得重要进展。
具体而言,团队基于量子神经网络架构特性,利用参数化量子线路实现了类似经典门控单元的功能机制,确保QGRNN兼具高效学习性能和硬件可执行性。同时,基于量子线路的幺正演化过程,研究团队严格证明了QGRNN长距离输出密度矩阵之间的雅可比矩阵范数与时间长度无关,从根本上解决了经典循环神经网络的长期依赖问题。此外,通过参数移动法则,进一步证明了QGRNN不会出现梯度爆炸现象。
为克服量子神经网络中的“高原贫瘠现象”,研究团队巧妙利用QGRNN的门控循环单元结构特点与参数共享机制,增强量子拟设线路的结构化特征和参数关联性,有效打破条件,从而避免梯度消失问题的发生。研究团队通过大量数值实验验证了QGRNN的性能优势,涵盖长序列基准问题测试、基因调控网络动力学预测、股市价格预测等多个应用场景。
实验结果表明,QGRNN在处理长序列数据和解决复杂动力学问题时,展现出显著的性能优势与广阔的应用潜力。
该研究得到了山东省自然科学基金重大基础研究项目“强泛化抗噪声的量子深度神经网络及其应用研究”及国家自然科学基金青年项目的资助。
论文相关信息:
https://doi.org/10.1109/TPAMI.2024.3519605
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。