本报讯（记者陈彬 通讯员乔仁铭）南开大学电子信息与光学工程学院教授徐文涛团队利用柔性人工突触器件，开发了一种神经形态运动感知系统，在硬件层面成功实现了大脑的多感官整合功能，并获得了卓越的运动感知性能。近日，相关成果发表于《自然-通讯》。

大脑的多感官整合是一个将不同模态感官信息进行结合的过程，它对于许多生物完成决策、记忆和学习等任务至关重要。例如，大黄蜂可同时利用视觉和触觉信息识别物体。多感官整合机制依赖高度并行且异步触发的神经元和突触网络。

为了实现神经元和突触的基本功能，以人工突触为代表的神经形态器件获得了广泛关注与研究。然而，与大脑多感官整合机制相关的高级功能尚未在神经形态器件和系统中得到开发与验证。此外，如何从硬件层面在神经形态器件中实现认知智能与类脑智能也是亟待解决的难题。

在研究团队设计的神经形态运动感知系统中，加速度计和陀螺仪分别获取加速度和角速度信号，这两种运动信号被编码为两个脉冲序列，随后被传输至高性能突触晶体管进行处理。两个脉冲序列的相关性和时序关系影响器件的突触可塑性，从而影响器件输出。系统通过对脉冲平均发放率和突触器件输出电流进行判定，实现运动信号的分类识别。

该系统可检测视觉、触觉等多个模态的传感信息。对来自不同类型传感器的信息进行有效整合，可显著提升运动识别的准确率（高于94%），并且实验结果符合大脑的感知增强效应。此外，该系统可进一步贴附于人体皮肤或装载于小型无人机，完成人体动作识别、无人机飞行模式识别等复杂任务。

相关论文信息：

https://doi.org/10.1038/s41467-023-36935-w