行业动态
“基于事件”的视觉传感器:打开机器视觉的新世界
浏览:343 次
时间:2021-03-31 11:19:30

       去年,由Prophesee和索尼联合推出了一款“基于事件”的视觉传感器,这款传感器应用于工业设备、机器人、自动驾驶汽车等领域时,能够更好地“看见和感知环境”。

       这种基于事件的视觉传感器,其工作方式和一般的视觉或图像传感器有着本质上的差别。Prophesee称其视觉系统“可以感知场景的生命力”、“产生的数据量比传统图像传感器减少近千倍,同时实现最低10000fps的高帧速率”。这些在传统视觉和图像传感技术上,都是难以想象的。这种“基于事件”的视觉技术和应用这种技术的视觉传感器,与传统的图像传感器相比又有怎样的区别呢?

       常规图像和视觉传感器,以帧为单位记录动态影像画面。例如电影每秒记录24帧画面,网络上的很多视频为30fps/60fps,构成视觉上连续的影像,目前一些高端的视频,在帧率上已经能够达到480fps/960fps。

      从机器视觉的角度来看,这种传统的传感器的缺点表现在两方面:1、即便是高帧率,帧与帧之间仍可能存在未记录的重要信息;2、对于画面中始终处于静止状态的对象,每一帧都重复地记录了大量无意义信息——这对后端计算造成更大的负担,并带来对数据通讯、存储更大的压力。

       加州理工学院Carver Mead教授在30年前就提出了“神经形态”的概念,Prophesee主要做的就是模拟人眼视觉的“神经形态视觉技术”。同时还开发了模拟人类大脑的计算机视觉AI算法,以及对应的智能套件(包括SDK、代码示例、算法、即用型应用等的视觉工具包)。在Prophesee发布的一份白皮书中提到:人眼中的感光细胞仅在检测到视觉场景中某些特性(如对比度、亮度)的变化时才反馈给大脑。研究表明,人类能够从1000次/秒的变化率的场景中捕获有价值的信息,这远高于现今动态影像的帧率。

       Prohesee重新设计的像素,就像视网膜的感光细胞,是独立且异步的。和人眼视觉原理类似,Prohesee开发的传感器只有在感知到场景发生变化时才会进行记录。即仅在场景发生变化时,这种基于事件的视觉传感器上的像素才做出反应,场景中的静态部分不会被捕捉。与此同时,图像信息不是逐帧发送,而是通过连续的信息流捕获事件信息,并且帧与帧之间没有任何的重要信息遗漏。

 

图像传感器

       

       这种“基于事件”的视觉感知设计,有三个优点:1、产生数据量更少;2、反应速度更快;3、实现更高的动态范围(>120dB)。这对于当代机器视觉而言是相当有价值的,尤其在减少数据量的问题上,对于有限的通信、存储与计算资源显得相当友好(比如以前高帧率和有限的存储资源,始终是个矛盾体)。

京ICP备12022927号-1
北京市海淀区上地信息路1号国际科技创业园1—1705
© Copyright 2011 北京盈美智科技 All rights reserved.