安徽大学教授何刚团队联合南京大学、宁波甬江实验室,成功研制单波长光强可编程的傅里叶光电突触器件,搭建起傅里叶神经形态视觉系统,可在光域直接完成图像频域特征提取与滤波处理,相当于给具身智能机器人安装了一双“频域慧眼”。相关研究成果发表于《先进材料》,安徽大学为论文第一通讯单位。
具身智能机器人在复杂车间、昏暗巷道等真实场景中,如何在运动抖动、目标遮挡、环境噪声干扰下高效完成目标识别?硬件层面的高效视觉感知是制约具身智能落地的关键瓶颈。对图像空间频域特征的解析提取,是挖掘目标深层信息、提升具身智能在复杂环境适应能力的核心。
人眼实现复杂背景下目标辨识,本质也是在做图像频域信息的处理:低频信息勾勒物体轮廓,高频信息承载边缘与细节特征。但传统数字计算架构受限于“存算分离”范式,完成傅里叶变换需要在存储器与处理器之间频繁搬运海量数据,大量能耗损耗在数据传输环节而非运算本身;而现有神经形态硬件体系,仍缺少面向频域处理的专用感知器件。研究团队由此提出科学设想:能否让频域特征提取、滤波等计算过程,直接在光物理层面自然实现,摆脱后端数字芯片的繁重运算负担?
此项工作的核心突破在于器件调控方式革新:过去实现突触双向权重调节,往往需要切换多种不同波长光源,系统架构复杂、不利于阵列集成;该器件仅采用430纳米单一波长蓝光,仅改变入射光强即可写入多阶非易失电导状态:弱光条件实现突触抑制,提升光强实现突触增强,器件天然具备非线性滤波特性,单次光刺激功耗低至约5.57纳瓦。单颗器件可同时兼具光探测器、光学滤波器、非易失存储器三重功能。
单器件嵌入傅里叶光学系统,构成傅里叶神经形态视觉系统。利用透镜天然的傅里叶变换性质,入射图像的空间频谱直接呈现在频谱面上,由光“免费”完成,几乎不产生时间延迟与能耗。频谱面上的光电突触阵列依据位置和光强非线性响应对不同频率分量“择优录取”完成滤波;滤波后的特征经光学重建,交由基于级存储特性搭建的多层感知机分类。从含噪输入到分类输出,光学提取、硬件滤波与神经形态分类首尾相接,规避大规模数据搬运开销,在基于频域特征的图像处理任务中展现出优异的效率与效果,为具身智能非结构化环境感知提供硬件新方案。
团队沿着“材料改性-器件研制-系统架构集成”的协同创新路径,从纳米尺度器件性能优化,到异质结光电突触功能开发,再到傅里叶光电融合感知系统搭建,持续推进感存算一体硬件研究。
研究人员介绍,傅里叶光电突触构建起光电融合的感存算一体视觉新范式,为机器人复杂场景实时感知提供了可行硬件方案。下一步,团队将重点攻克器件阵列规模化集成,开展真实复杂场景下的系统功能验证,推动技术向实际应用落地。
相关论文信息:https://doi.org/10.1002/adma.74518
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。