当前位置: CompoTech China > 专题 >
 

机器视觉在边缘发力 向3D演进

本文作者:编辑部       点击: 2021-09-27 10:13
前言:
 
电子技术的进步,让机器视觉从工业生产线走到更多人的身边,数据处理也从云端、大型计算设备走到边缘设备中,根据需求的不同,功耗和性能的平衡点也在不断变化,这也给了制造商和设计人员更多地发挥空间,新技术的加入不仅能够让机器视觉离我们更近,提供更多服务,也促进了工业制造的智能化演进。
 
MAXIM:解锁电池供电机器视觉的可能性

 
家用摄影镜头、工业级智慧安全摄影镜头以及零售行业的人脸识别终端大多采用电池供电, Maxim Integrated的微控制器与Xailient的神经网络技术相配合,在边缘计算/云端计算混合系统中,可大幅提升总体系统的电源效率、延长电池寿命;此类应用采用低功耗“侦听”模式,在侦测到人脸目标时唤醒更复杂的系统操作。与传统嵌入式方案相比,Xailient的神经网络技术方案将功耗降低250倍(仅为280微焦耳),每次侦测运算只需12 ms,支持网络的实时运行,速率高于当前市场上最高效的边缘计算人脸侦测方案。 

MAXREFDES178手持相机立方体参考设计使AI运行在视觉和听力应用的边缘
 
 
AI 应用程序需要密集的计算,通常在云中或昂贵、耗电的处理器中执行,这些处理器只能满足大功率预算(如自动驾驶汽车)的应用。在最靠近数据的边缘端,对于机器视觉的需求同样在快速增长。MAXREFDES178# 相机立方体演示了 AI 如何在低功耗预算下生活,使时间和安全至关重要的应用程序即使在最小的电池上也能运行。与其他嵌入式解决方案相比,MAX78000的 AI 加速器将 AI 推论在视觉和听力应用方面的能力削减至 1,000 倍。在 MAXREFDES178# 上运行的 AI 推论也显示出显著的延迟改进,运行速度比嵌入式微控制器快 100 倍以上。

MAXREFDES178#相机立方体参考设计,使超低功耗物联网 (IoT) 设备能够实现听觉和视觉, MAX78000低功耗微控制器,配备神经网络加速器,用于音频和视频推理,MAX32666超低功耗蓝牙®微控制器和两个MAX9867音频 CODEC用于无线数据传递和音频信号搜集。外形尺寸仅为 1.6 英寸 x 1.7 英寸 x 1.5 英寸(41mm x 44mm x 39mm)。MAX78000 解决方案本身比基于 GPU 的处理器小 50%,不需要其他组件(如内存或复杂电源)来实施具有成本效益的 AI 推论。

意法半导体协助推动经济型边缘AI开发 
 
 
意法半导体于近期推出新AI韧体功能包和镜头模块硬件套件,让嵌入式开发人员开发能够在STM32*微控制器(MCU)的边缘装置上运行经济实惠=而且功能强大的机器视觉应用。

STM32Cube功能包FP-AI-VISION1包含几个完整的机器视觉应用程序代码范例,这些例程在STM32H747上运行卷积神经网络(CNN),可以在STM32全系产品上轻松移植。该韧体提供数个应用范例,可让开发人员用所选数据集重新训练神经网络,为解决各种问题提供更大的自由空间和灵活度。

新功能包括支持USB VC镜头(网络镜头模式),简化图像采集任务,还包括食品分类和用户存在侦测程序代码范例,其中用户存在侦测范例可建立方便的视觉「唤醒语」,将系统从省电模式中唤醒。

FP-AI-VISION1包含各种帧缓冲处理功能、镜头驱动程序,以及图像撷取软件、预处理软件和神经网络推断软件,还有多种神经网络模型可供使用,包括基于浮点的模型和X-CUBE-AI产生的量化模型,X-CUBE-AI是意法半导体优化的人工神经网络C程序代码产成器,因为支持灵活的内存配置,可以让开发者设定为预期的应用微调神经模型。
 
研华EPC-U2217机器视觉解决方案 助理产线高产能
当我们以为工厂产在线还都是低技术的劳动者手动检测产品外观、印刷错误和产品卷标尺寸,每天996地在生产在线当螺丝钉。实际上,现代智慧工厂生产线里已经在利用机器视觉方案,通过大量的信息识别、数据积累及处理判断零部件质量是否合格,借此提高生产线的良率。

研华机器视觉解决方案搭载最新 Intel Atom 处理器的 EPC-U2217 嵌入式系统, CPU性能和图显性能分别提高30%和45%。EPC-U2217 配备了机器视觉软件和一个摄像头,共同组成了一套功能齐全的生产线检查解决方案。

图:搭载Intel Atom 处理器的 EPC-U2217 嵌入式系统

当产在线的产品移动经过检测传感器时,摄像机拍下产品照片,图像通过视觉识别软件处理或分析,并根据识别后产品的完整程度与瑕疵发出通过-未通过响应,视觉系统同时向转向器/控制器发出信号,未通过检测的不良品将从生产在线剔除。工作人员可以在显示器上查看整个流程与统计数据。以这种方案进行产品检查和分析,可在确保产品质量的同时降低风险,并节省了人力成本。
 
图:EPC-U2217 配备了机器视觉软件和一个摄像头,组成了一套生产线检查解决方案
 
康耐视简化工业3D机器视觉应用
 
 
康耐视(COGNEX)公司推出In-Sight® 3D-L4000 嵌入式视觉系统,采用3D激光位移技术的创新型智能相机,能帮助用户快速、准确且经济高效地解决自动化生产在线的一系列检测应用难题。In-Sight 3D-L4000视觉系统应用极其广泛,其提供三种出厂已标定的视场选项,是食品和饮料、消费品、包装、汽车、医疗设备、电子产品等众多行业的理想选择。
 
“一直以来,3D检测系统对于大多数用户来说面临两个问题:产品操作复杂、使用成本昂贵,”康耐视3D事业部经理John Keating表示,“而In-Sight 3D-L4000视觉系统很好的解决了这两个痛点,其提供了大量的3D视觉工具套件,使3D检测能够像行业先进的In-Sight 2D视觉工具一样易于使用,减少消耗支出,从而打破了以往的障碍。”
 
与传统系统相比,3D-L4000视觉系统能使用户将视觉工具直接用于组件的3D图像,可提供更高的准确性,从而扩展了可以执行的检测类型。此外,由于检测是在3D模式下进行的,因此用户可以立即体验视觉工具是如何在实际组件上进行操作的。
 
3D-L4000视觉系统可提供用户常用的各种传统3D测量工具,比如平面拟合和高度测量,并且还提供了一整套全新设计的3D视觉工具,可在3D空间中进行执行检测。
此外,该系统还能将2D和3D视觉工具组合在同一应用中使用,以确保更快速地完成部署。

艾迈斯欧司朗推出新款3D感测产品,为机器人装上”鹰眼”
 
 
机器人和自动导引车正变得比以往任何时候都更加先进并能执行更多任务。 3D 传感器技术领域的技术进步正是推动此一趋势的关键。 这些系统的一个关键零组件是红外线光源,例如艾迈斯欧司朗的 Belago 1.1。 该点阵投影模块将 VCSEL 芯片与微透镜数组(MLA)和坚固的封装相结合,非常适合应用在机器人和自动导引车 (AGV) 中,透过主动立体视觉 (ASV) 进行环境感测。

「无论是扫地机器人或自动割草机等消费性机器人,以及工业AGV和自主移动机器人,都需要“眼睛”才能在环境中行驶。」艾迈斯欧司朗产品经理Matthias Gloor解释道,「我们的Belago 1.1点阵投影技术有助于构建周围环境的高分辨率全景图,采用可供客户轻松整合的封装,实现高效障碍物检测,进而为机器人提供视觉功能。」 

用于 3D 系统的 Belago 1.1 点阵投影支持需要高分辨率三维地图的其他新兴应用,例如用于门禁和支付终端的脸部识别。 此外,还可以轻松实现物流链中使用摄影镜头测量体积以及游戏、家庭健身和设备控制等消费电子产品中的手势侦测等应用。

为了评估 Belago 1.1 点阵投影以及内建点阵投影主动立体视觉系统的 3D 效能,艾迈斯半导体提供了 Hermes,这是一款 3D 相机评估套件。 旨在协助客户进行组件和系统评估。 借助额外的软件开发工具包,Hermes 可以轻松整合到各种环境中,以在实验室中构建概念验证。 除了 Belago 1.1,艾迈斯半导体还拥有适用于所有三种 3D感测技术的照明模块和传感器的全面产品组合 - 主动立体视觉 (ASV)、结构光 (SL) 和飞时测距 (ToF)。
 
作为主动立体视觉解决方案的一部分,Belago 1.1支持创建环境的高分辨率三维图,帮助移动机器人避免与人或其他车辆(例堆高机)碰

意法半导体推出世上最小微镜扫描技术适用于工业和计算机应用
 
 
ST与英特尔合作开发出一款具有环境空间扫描功能的MEMS微镜。英特尔利用这款微镜开发出一个LiDAR系统,为机械手臂、容量测量、物流、3D扫描等工业应用提供高分辨率扫描解决方案。

在Intel RealSense LiDAR镜头L515中,意法半导体小体积的微镜为LiDAR镜头做到曲棍球大小(直径61mm x高度26mm)并发挥了重要作用。微镜可以在整个视角中进行连续的雷射扫描。在一个客制的光电二极管传感器搭配下,RealSense LiDAR镜头L515可以产生整个情境的3D深度图。
 
藉由意法半导体MEMS的扫描功能,L515无需插值像素就能提供高分辨率的深度图和可控视角,透过50nS的快速曝光时间可达到接近零像素模糊。

英特尔新创长、企业副总裁暨新兴成长型企业与新创部总经理Sagi BenMoshe表示,「Intel® RealSense™技术已用于开发机器人、物流、扫描产品和解决方案以及其他的计算机视觉应用。采用ST微镜的RealSense LiDAR镜头L515具有极佳的测量精度,是世界上最小的高分辨率LiDAR深度镜头,适合各种应用

Microchip基于PolarFire® FPGA解决方案 实现低功耗、小体积4K视频和图像应用
 
Microsemi/Microchip PolarFire FPGA成像和视频开发工具包可用于设计原型和测试机器视觉应用。除了具有双摄像头传感器和各种丰富的外设I/O接口,还支持HDMI 2.0、DSI、MIPI CSI-2 TX/RX和HD/3G SDI等协议。PolarFire FPGA具有300k逻辑组件、4GB DDR内存和用于缓冲的1GB闪存(下图),性能足以应对4K图像处理。可广泛应用于多个市场,包括监控和互联网协议(IP)摄像头、车载和其他无线与移动用例、机器视觉与医疗、智能家居以及在工业、航天与航空及国防领域的其他应用。

与静态随机存取型内存(SRAM)的中档FPGA相比,PolarFire FPGA的总功耗可降低30%至50%。在边缘执行推理功能时,PolarFire FPGA的总功耗比同类竞争产品低50%,同时数学模块的容量比同类竞争产品高25%,每秒运算次数(TOPS)高达1.5万亿次。开发人员还可凭借PolarFire FPGA固有的易升级性和将不同功能集成至单个芯片上的能力,更好地实施定制,实现差异化。