你是否想过，未来的机器人不仅能听懂指令，还能像人类一样“察言观色”？

 

想象一下，如果家里的摄像头能像《头号玩家》里的AI一样，你抬个手就知道要换台；或者老人不慎跌倒时，监护设备能瞬间识别并向家属报警；工厂里，机械臂通过观察工人动作自主调整协作节奏……这些科幻场景的实现，核心在于机器如何高效“理解”人类动作。

传统的人机交互技术，如脑机接口（BCI）的实现主要依赖互补金属氧化物半导体（CMOS）技术，虽然能够实现一定程度的人机交互，但其存在电路复杂、笨重且低生物兼容性，同时受到冯·诺伊曼架构低能效的限制。

 

基于此，甬江实验室万青团队提出了脑-神经形态界面（BNI）概念，通过模仿人类大脑的高效信息处理方式，利用神经形态器件和系统，在极低能耗的情况下提供强大的计算能力，有望为推进（BCI）技术并塑造我们与机器的交互提供一个更为有效的解决方案。该研究成果在材料类顶级期刊Advanced Materials上发表，甬江实验室为第一通讯单位，万青研究员为通讯作者。

 

在上述概念下，万青团队近日与合作单位又发展了面向视频动作处理的光电储备池计算器件和技术，并基于此开发了名为Alpho-RC的仿生动态视觉处理芯片，取得了能效和识别率方面突破性进展，打破了传统人机交互技术的局限，为智能设备实现更高效、更自然的人机交互提供了可能。

 

该研究成果发表在国际综合性期刊Nature Communications上。甬江实验室为通讯单位，南京大学万昌锦教授、施毅教授，甬江实验室万青研究员，浙江大学林芃教授为论文的共同通讯作者。该研究成果一经发表，即被该杂志编辑选为器件领域Featured Articles。

 

图1. 论文发表情况

储备池计算网络是一种循环神经网络，在处理时序信号时有计算代价小、效率高的优势。但在面对图像识别任务时，往往需要复杂的特征提取过程，同时识别率不如经典的卷积神经网络。正是这种“时序信号得心应手，图像识别力不从心”的特性，导致目前尚未出现能高效处理真实视频信号的储备池计算网络。

 

为此，甬江实验室万青团队与合作单位开发了一种面向视频动作处理的光电储备池计算系统，命名为Alpho-RC。该系统受生物视觉系统的启发，模仿生物神经元的感受野机制，实现了对真实视频信号的高能效处理。

 

图2. 感受野启发的仿生视觉处理流程

 

Alpho-RC系统由IGZO光电突触晶体管芯片作为储池层，提供高维的非线性映射；同时，以1T1R结构的TaOx基忆阻器芯片作为输出层，进行基于线性回归运算的标签推理，突破了原有储备池计算系统难以实现高效视频处理的限制，实现了对真实视频信号的高能效处理。

 

图3. 模拟态光电储层计算系统关键模块：IGZO晶体管芯片及TaOx基1T1R忆阻器芯片。

 

该系统的一大亮点是其模仿生物神经元的感受野机制。感受野是一种生物学概念，指的是特定神经元对特定空间区域内的刺激作出反应的能力。在Alpho-RC中，研究人员使用了多个高斯感受野（GRF）神经元组成的群体编码器，将输入信息编码成尖峰序列。只有当对应感受野的输出最大时才会触发脉冲信号，这种方式极大地简化了特征提取过程，减少了计算负担。

 

该系统在智能医疗领域，对跌倒行为的高准确率识别展示出应用潜力，在虚拟现实、人机交互等领域也具有发展前景。在测试中，Alpho-RC系统在UTD-MHAD（27类动作）、MSR Action3D（20类）、Florence 3D （9类）和 MSR Action Pairs四个标准人类动作数据集上均表现出超过90%的识别准确率。

 

其中，在UTD-MHAD数据集上，识别率高达93.58%，多个动作识别效果良好。使用自制的包含正常和跌倒动作的 3D 骨架数据集进行验证，系统对跌倒行为识别准确率达96.67% ，接近目前基于算法的最高识别率：98.33%。在动作预测方面，当观察比例超50% 时预测准确率超 80%，而观察比例超70%时超预测准确率超过90%。

 

图4. 在标准数据集和自制数据集上的验证结果

 

更重要的是，除了高效的识别性能外，Alpho-RC系统还具备显著的节能优势。传统计算机视觉算法在冯·诺依曼计算系统上运行时，随着数据量的增加，能耗也会相应上升。

 

相比之下，Alpho-RC系统借鉴生物视觉系统优势，采用受生物启发的编码方案，无需复杂特征提取，因此网络结构十分简单，比经典网络规模小1-3个数量级。系统能耗主要来自GRF编码、储层状态生成和输出层加权计算，整体能耗低，处理每个动作仅约45.78 μJ，比CMOS基处理器至少低2个数量级。

 

这意味着Alpho-RC系统可以在保持高性能的同时，大大降低能源消耗，更适合应用于嵌入式设备和移动设备等资源受限的场景。

 

可以预见的是，未来在智能医疗领域、虚拟现实（VR）和增强现实（AR）领域，以及人机交互等领域，Alpho-RC系统都会因其高效能、低能耗及高识别率等特点，展现出令人期待的广阔应用前景。

 

论文链接：

https://advanced.onlinelibrary.wiley.com/doi/abs/10.1002/adma.202311288

https://www.nature.com/articles/s41467-025-56899-3