近日，上海交通大学邹卫文教授团队针对射频感知应用设计研发了光子学时空特征提取芯片，能直接将天线接收的射频原域信号转化为稀疏的特征信息，降低后端数据率的同时实现了准确目标识别，为超宽带射频信号处理提供了全新技术手段。

相关成果以“Analog spatiotemporal feature extraction for cognitive radio-frequency sensing with integrated photonics”为题发表在Light: Science & Applications。上海交通大学助理教授徐绍夫为论文第一作者，上海交通大学教授邹卫文为通讯作者。

在雷达、机器视觉、医学影像等智能感知领域，用于决策的关键信息往往呈现出高度的稀疏性。例如，记录单音节波形需要数千个采样点，但其中仅包含若干比特有用信息。若能直接在信号接收的模拟链路中完成关键特征信息的提取，则可以大幅降低模数转换速率需求，降低数据的冗余度，降低数据处理的内存与算力开销。因此，模拟特征提取（AFE）策略在智能感知领域受到广泛的关注。然而，在射频感知领域，通常需要若干GHz的超宽带信号才能实现目标细节的有效分辨，在现有射频电路带宽与可重构性限制下，在射频感知领域应用AFE策略面临着巨大挑战。

图1：光域构建的卷积神经网络示意图

针对这一问题，本文提出采用集成光子学方法来突破带宽与可编程性瓶颈的创新思想。天线接收的射频信号直接加载到光芯片上，在光域构建出多层卷积神经网络（如图1）对输入的射频信号进行时空域卷积处理，以提取信号的有效特征。根据以上架构，文章设计实现光子学时空特征提取芯片（如图2），并针对性提出了一种卷积核参数训练方法，成功演示了瞬时带宽为4GHz的雷达目标识别任务。

图2：光子时空特征提取芯片照片

实验结果表明，光子学时空特征提取芯片成功实现了射频信号的原域特征提取，将后端模数转换数据率降低4倍的情况下，仍达到了97.5%的目标识别准确率。通过t分布统计紧邻嵌入（t-SNE）分析方法对特征提取进行了可视化评估，结果表明光子学时空特征提取芯片将目标可识别性显著提升（如图3）。此外，我们对比了时空特征提取与单一维度特征提取的性能差异，结果表明，时空特征提取的识别准确度比单一维度特征提取高出6%，相比无特征提取高出7.7%，反映了光子学时空特征提取芯片可以有效获取有用信息，分辨不同目标的特征差异性，为超宽带射频信号处理提供了全新的技术手段。（来源：LightScienceApplications微信公众号）

图3：光子特征提取效果的可视化分析

相关论文信息：https://doi.org/10.1038/s41377-024-01390-9