您现在所在的位置:主页 > 企业黄页 >
用小型载板传输4台相机的数据流:快速原型设计
发布日期:2022-05-13 09:35   来源:未知   阅读:

  嵌入式视觉组件一直很受欢迎,被众多应用所采用。所有这些应用的共同点是需要在狭小的空间内集成越来越多的功能。通常,让这些系统在边缘做出决策也是很有利的。为了支持此类系统,包括快速原型设计的能力,Teledyne FLIR 推出了Quartet™ 嵌入式 TX2 解决方案。这种定制的载板可在满带宽下轻松集成最多4 台 USB3。它包括 NVidia Jetson 深度学习硬件加速器,预先集成了Teledyne FLIR 的 SpinnakerSDK。通常,让这些系统在边缘做出决策也是很有利的,尤其是在检查、移动机器人、交通系统和各种类型的无人载具领域。

  在这篇非常实用的文章中,为了强调 Quartet 能够实现的功能,我们描述了开发受 ITS(交通系统)启发的原型的步骤,该原型同时运行四个应用程序,其中三个采用了深度学习:

  ● Nvidia Jetson 深度学习硬件加速器可在紧凑型单板上实现完整的决策系统

  对于车牌识别,我们通过 Nvidia 部署了现成的车牌检测 (LPDNet)深度学习模型,以检测车牌的位置。中芬科技创新论坛在天津启幕,为了识别字母和号码,我们使用了Tesseract 开源 OCR 引擎。该相机为Blackfly S 板级 890 万像素彩色相机 (BFS-U3-88S6C-BD),配备了 Sony IMX267 传感器。我们限制了车牌检测的侦测区域,以加快运行速度,并利用跟踪来提高稳健性。输出包括车牌的边界框,以及相应的车牌字符。

  在车型分类方面,我们利用迁移学习,用三台玩具车(分别是 SUV、轿车和卡车)训练了我们自己的深度学习目标检测模型。我们采集了此设置在不同距离和角度下拍摄的约 300 幅训练图像。相机为Blackfly S 板级 500 万像素彩色相机 (BFS-U3-51S5C-BD),配备了 Sony IMX250 传感器。我们标出了玩具车的边界框,大约耗时 3 小时。我们进行了迁移学习,以训练我们自己的SSD MobileNet目标检测模型,训练过程在 Nvidia GTX1080 Ti GPU 上进行,耗时半天左右。通过 GPU 硬件加速器,Jetson TX2 模块可以高效率地执行深度学习推断,并输出汽车的边界框,以及对应的车辆类型。

  开发时间:重复利用了“车辆类型应用”中的型号,用额外 2 天时间进行颜色分类、集成和测试训练图像:重复利用了 300 幅与“车辆类型应用”相同的图像

  对于车辆颜色分类,我们运行了与上述相同的深度学习对象检测模型来检测汽车,然后在边界框上进行了图像分析,以对其颜色进行分类。输出包括汽车的边界框,以及对应的车辆颜色。相机为Blackfly S 板级 300 万像素彩色相机 (BFS-U3-32S4C-BD),配备了 Sony IMX252 传感器。

  减少眩光对于交通相关应用至关重要,例如透过挡风玻璃观察 HOV 车道、检查安全带是否合规,甚至可以检查驾驶时是否使用手机。为此,我们将 Blackfly S USB3 板级相机与 500 万像素 Sony IMX250MZR 偏振传感器相结合,定制了一款相机。这款板级偏振相机不是标准产品,但 Teledyne FLIR 能够轻松换用不同的传感器,从而提供定制的相机选项,以展示其消眩光功能。我们只需通过 Teledyne FLIR 的 SpinView GUI 来传输相机图像流,该 GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。

  图7 Spinnaker SDK GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。四通道模式可以显示 4 个不同的偏振角度所对应的 4 幅图像

  虽然这四个原型各自独立工作,但我们注意到,在所有深度学习模型同时运行时,总体性能相当差。Nvidia 的 TensorRT SDK 为 Nvidia 硬件(如 Jetson TX2 模块)提供深度学习推断优化器和运行时。我们用 TensorRT SDK 优化了我们的深度学习模型,使性能提升了 10 倍左右。在硬件方面,我们将一个散热器连接到 TX2 模块,以避免过热,因为该模块在所有应用程序都运行时会相当热。最终,我们设法在所有四个应用程序一起运行时实现了良好的帧率:车辆类型识别为 14 fps,车辆颜色分类为 9 fps,自动车牌识别为 4 FPS,偏振相机为 8 FPS。

  由于 Quartet 嵌入式解决方案和 Blackfly S 板级相机的易用性和可靠性,我们在相对较短的时间内开发出了此原型。预装了 Spinnaker SDK 的 TX2 模块可确保在即插即用的情况下兼容所有 Blackfly S 板级相机,这些相机可在满 USB3 带宽下,通过 TF38 连接器实现可靠的传输。Nvidia 提供了多种工具来促进 TX2 模块的开发和优化。Quartet 现在可从上在线购买,也可以通过我们的办事处和全球经销商网络购买。