神经形态的嵌入式视觉与人形机器人

  由意大利理工学院开发的人形机器人,利用神经形态的嵌入式视觉来帮助其观察。它已被全球20多个实验室采用。iCub看起来像个小孩,有53个电机,可移动其头,臂,手,腰和腿。除了能够看到之外,还可以听到。它在加速度计和陀螺仪的帮助下移动。甚至还添加了电容式皮肤系统,该系统将测量接触并实施安全的抓握策略。iCub

  专为iCub设计的嵌入式视觉系统受到哺乳动物视觉系统生物学的启发。刺激驱动的传感器,专用的嵌入式处理器以及用于处理视觉刺激的基于事件的软件基础结构构成了系统。这些组件与机器视觉模块集成在一起。高分辨率,彩色,基于帧的视觉和神经形态的低冗余相辅相成。

  嵌入式视觉与生物学

  主流嵌入式视觉使用数字化帧,这些帧是通过以固定的固定速率采样并处理快照序列而获得的。数据传输,存储和处理需要大量时间和CPU性能。对于动物而言简单的任务,例如对象表征,运动估计和注意方向,在此模型中需要大量的计算资源。该模型的另一个问题是感觉到的是嘈杂的和模棱两可的。

  生物神经系统的计算受刺激驱动。进行神经计算以增强变化和不连续性并丢弃冗余。典型的机器视觉系统不具备这些功能。因此,研究人员向生物系统寻求关于如何利用类似于大脑的感知和计算的想法。像iCub这样的机器人将需要这些功能与世界实时互动并自主行动。

  研究人员开发解决方案

  异步视觉的使用在鲁棒和自适应信号编码方面具有优势。它还允许在不同的环境和条件(例如照明条件,快速移动的物体)中高效运行。稀疏的时间和空间信息的使用导致更快,更轻便的计算,还导致更低的功耗。

  复杂的类人动物的形式挑战具有复杂任务和动作(例如转动头部或躯干)的视觉系统。在硬件级别,研究人员集成了摄像头,定制处理器和FPGA(现场可编程门阵列)。对于软件,他们开发了异步人工视觉算法的开发,评估和调试所需的基本处理模块。

  iCub在其开源平台上的异步视觉系统是验证神经形态方法并将其优势提供给广大社区的关键。