行业动态
Emergent工业相机案例研究:基于机器视觉的动物跟踪研究
浏览:162 次
时间:2021-06-18 11:38:03

基于机器视觉的动物跟踪研究

       研究动物有多种原因,无论是为了医学研究还是为了更深入地了解它们的行为。特别是斑马鱼,因其可用性而被广泛研究。

       那么,如何跟踪并研究动物群落呢?

       基于机器视觉的 IDTRACKER.AI

       idtracker.ai由葡萄牙里斯本Champalimaud研究中心的集体行为实验室团队创建。它是一种用来识别和跟踪集体中每一个个体的位置的工具,无论这些动物的种类或大小如何。在本例中,idtracker.ai可以追踪多达100条幼斑马鱼的大型动物群体,准确率高达99.9%。该系统还可以追踪单个个体。为此,该系统使用两个深度网络:一个用来检测动物何时接触或交叉,另一个用来识别每一个个体。

       系统装置

       该系统由一个直径为 70 厘米的定制水箱和水循环系统组成。水箱被放置在一个盒子里,盒子是用哑光白色亚克力墙建造的,门上有门,方便取用。如下图。

基于机器视觉的 idtracker.ai系统装置

 

       (一)工业相机

       采用28mm蔡司Distagon镜头的Emergent单色HT-20000工业相机位于水箱表面上方70厘米处。HT-20000 是一款 2000万像素相机,配备 AMS 的 CMV20000 CMOS 传感器。 其高速RJ45 10GBaseT接口使电缆长度可达到100米,同时为许多应用提供了经济高效的解决方案。

       (二)照明

       IR和RBG LED灯带以及可伸缩光扩散器为系统提供均匀的照明。

       (三)软硬件

       通过2TB RAID 0台式计算机运行NorPix StreamPix软件录制视频,该计算机运行环境为64bit Windows 10。

       检测和识别个

       Idtracker.ai 使用两个深度卷积神经网络 (CNN)。一个用于检测动物何时接触或交叉(深度交叉检测器),第二个用于识别动物(识别网络)。

       系统通过每秒捕捉25-50帧的图像数据来启动这个过程,这使系统可以收集属于同一个体的图像,并将其组织成片段以便准确跟踪和识别,不会因冗余图像数据而使系统过载。

       从视频中提取代表单个或多个接触(交叉)动物的图像。每个图像都标记为单个个体或接触(交叉)。在视频的后续帧中表示同一个体或接触(交叉)的图像组分别被命名为个体和接触(交叉)片段。idtracker.ai 根据个体的视觉特征来跟踪个体。

      “我们面临的主要挑战是准确跟踪每个个体。我们要记录一大群幼年斑马鱼,它们的动物密度低到足以让这群斑马鱼表现出不同的行为。因此,我们需要覆盖与动物实际大小成比例的大片区域。 这时候,高分辨率相机就派上用场了。借助2000万像素的HT-20000-M工业相机,我们能够覆盖广阔的区域,并且每只动物仍有足够的像素供 idtracker.ai 工作。”Champalimaud Research 集体行为实验室的博士生弗朗西斯科·罗梅罗-费雷罗 (Francisco Romero-Ferrero) 说。

       单个片段集合的子集中,所有个体在视频的同一部分都是可见的,然后用于生成标记有相应身份的单个图像的数据集。利用该数据集训练第二个CNN,根据图像的身份(识别网络)对图像进行分类。

       从第一个图像标记的数据集获得的信息,将被准确分配到包含单个片段的整个集合,或通过在整个视频中合并安全识别的单个片段来增加第一个数据集。最后,通过一系列的后处理程序来纠正微小的识别错误,并在最后一个计算核心中推断出接触或交叉片段的身份。

       北京盈美智是Emergent中国区正式代理商,如需了解更多Emergent工业相机系列产品,请联系本站客服。此外,公司还代理销售其他国际各大知名厂商的工业相机、图像采集卡、光源及图像处理软件等视觉产品,还可根据用户的实际要求,进行从硬件到软件的全套图像处理系统集成。

京ICP备12022927号-1
北京市海淀区上地信息路1号国际科技创业园1—1705
© Copyright 2011 北京盈美智科技 All rights reserved.