今年以来，肺炎疫情重伤不少产业，却意外让某些科技应用成为受惠者，机器视觉 (Machine Vision) 便是其一。研调机构 ReportLinker 日前大幅上修市场估值，推测今年全球机器视觉市值达 80 亿美元，2027 年将增至 177 亿美元，期间年复合成长率 (CAGR) 为 12%。与此同时，＂3D＂机器视觉系统之 CAGR 高于整体平均值、达 13.96%，2025 年达 26 亿美元，硬件占比最大、但软件增长较快。分众市场归因＂智能相机＂带动——集成传感器、处理器、相机到电脑的接口和镜头，以及可编程自动化控制器与人机接口。
意即：将摄像头、处理器到 I/O 设备的所有组件都嵌入在一个小盒子中。这些系统由带有集成视觉软件的嵌入式控制器组成，该控制器直接连接到一个或多个摄像头，这些摄像头的图像分辨率、大小和成像速率可能有所不同，主要参与者是：奥姆龙 (OMRON)、恩基思 (Keyence)、康耐视 (Cognex)、巴斯勒 (Basler AG)、美国国家仪器 (National Instruments)、ISRA Vision AG、TKH 集团、Stemmer Imaging、MVTec Software GmbH 和 Tordivel AS。康耐视近日即推出首款 In-Sight D900 嵌入式视觉系统——在 In-Sight 工业级智能相机内嵌自有 ViDi 深度学习软件。
图1：康耐视 In-Sight D900 智能相机采用的 In-Sight ViDi 软件，专为执行深度学习应用而设计
恩智浦发表用于 MCU 的 Glow 神经网络编译程序
抢攻＂边缘 AI＂有成的恩智浦半导体 (NXP) 援引 TIRIAS Research 研调数据表示，至 2025年，约有 98% 的边缘设备将使用某种形式的机器学习 (ML)／AI；即使没有专用的机器学习加速器，届时也将有 180～250 亿部设备具有机器学习功能。这意味着：消费型设备制造商和嵌入式物联网 (IoT) 开发者需将机器学习框架优化，以便在微控制器 (MCU) 实现低功耗的边缘嵌入式应用。看准此一商机，恩智浦发表业界首款用于 MCU 的 Glow 神经网络编译程序 (Neural Network Compiler)，并已整合到自家 eIQ 机器学习软件开发环境。
Glow 编译程序最初是由脸书 (Facebook) 所开发的开源小区项目，旨在与特定目标整合、省却实时编译程序、生成高度优化代码，进而提升硬件平台的神经网络效能。GitHub 的标准版 Glow 可直接在任何设备上运行，让用户可灵活针对安谋 (Arm) Cortex-A/Cortex-M 核心与 RISC-V 等架构编译神经网络模型核心；而恩智浦是首家针对 MCU 提供高于 Glow 标准版 2～3 倍效能的半导体供货商，于 MCUXpresso 软件开发工具包 (SDK) 免费提供，适用于 Arm Cortex-M 核心和楷登电子 (Cadence) Tensilica HiFi 4 DSP 的神经网络操作数库。
eIQ 机器学习软件，助阵边缘 AI 高效推论
恩智浦将 Arm CMSIS-NN 软件库纳入 elQ 中，目的是尽可能提升效能并减少 Arm Cortex-M 核心上的神经网络内存占用；Glow 整合到恩智浦 eIQ 后，可在 i.MX RT 跨界微控制器——RT685、RT1050 和 RT1060，以及 i.MX 8 应用处理器 (AP) 进行扩展和高效推论，用以开发语音应用、物体／脸部辨识等应用。恩智浦面向边缘 AI 开发环境的策略是：提供全方位工具套件 (toolkit)，包括开发者迫切需要的建模。eIQ 目前可支持 Glow 和 TensorFlow Lite 推论，并且会定期执行基准检验以衡量其效能。
图2：恩智浦发表用于微控制器 (MCU) 的 Glow 神经网络编译程序，为边缘视觉和语音之机器学习应用带来诸多优势
资料来源：恩智浦提供
恩智浦还强调边缘智能设备应重视＂安全连结＂，包括安全启动信赖起点、芯片内建加密、安全布建、相互设备验证、安全设备管理、空中更新 (OTA) 或无线安全更新与生命周期管理。恩智浦旗下 i.MX 8M Plus 具备进阶 EdgeLock 嵌入式安全 (含资源域控制器、信任区、HAB、加密启动、使用 RSA 的公钥加密与椭圆曲线算法)，为边缘 AI 再加一层防护；可扩充的 EdgeLock 组合涵盖安全组件、安全验证器、应用处理器嵌入式安全和 MCU，为边缘节点提供完整性、验证确实性和隐私，并保证边缘到网关 (Gateway)、云端的安全性。
集成 IGP 的＂智能视觉传感器＂引发关注
除了智能相机，进一步内嵌整合图像处理器 (Integrated Graphic Processor, IGP) 的＂智能视觉传感器＂正引起关注，让芯片可实时在手机等＂边缘设备＂进行分析、分类、判读图像，亦可即兴创意编辑。好处是：可在数据进入主设备的存储或处理管道前，将所有不必要或不需要的数据丢弃，减少处理负载且更有隐私、安全保障。对此，近来在嵌入式系统声势渐壮的安森美半导体 (ON) 认为，类画素数组芯片所获取的信号可利用传感器中的 AI 处理，无需高性能处理器或外部内存奥援，有助发展边缘 AI 系统。
安森美工业影像传感器部大中华区营销经理陶志指出，AI 影像传感器是将分析和处理整合在 CMOS 影像传感器中，并在传感器集成用于影像识别的底层或轻算力的卷积神经网络层 (CNN)，以及带有内存的数字矩阵乘法计算单元体系；如此一来，传感器输出的是＂元数据＂(Metadata，又称为：诠释数据、中介数据、元数据、后设数据等)，属于影像数据的语义信息而非影像信息，可减少数据量并避免隐私争议。她提醒，画素越高的智能影像传感器，需要更大的数据量、更强的计算单元，功耗和存储空间也会相应增加。
照片人物：安森美半导体工业影像传感器部大中华区营销经理陶志
AI 机器视觉，因时空制宜
因此，AI 机器视觉需加以综合考虑。另一方面，当使用传统 CMOS 影像传感器拍摄视频时，必须发送每个单独数据帧予 AI 单元处理，导致数据传输量增加且难以实时处理。整合高速 AI 处理功能的传感器，能在单一视频帧中完成整个过程，让＂在录制影片的同时提供高精度、实时的目标跟踪功能＂成为可能。用户能将自己选择的 AI 模型写入嵌入式内存中，并可根据用户要求或系统使用位置等条件对其进行重写和更新。例如，在零售商场安装整合智能视觉传感器的多个摄像头时，应用可横跨不同的时间、地点 (环境) 或目的。
安装在商场入口时，可统计访客数量；在商店货架，可用来检测库存短缺情况；在商场天花板，可用于绘制商店访客热图 (检测客户聚集的位置) 等。陶志深入阐述，为满足 AI 训练和推论的快速、高效、精准能力，在提升影像传感器性能之余，丰富的成像信息整合也可增强 AI 性能，且逐渐成为系统做出明智决策的关键。随着 AI 发展，演算力正面临前所未有的挑战，分类系统设计需要功能强大的 GPU 或 TPU 神经网络处理器。训练过程因涉及海量大数据和复杂的深度神经网络结构，计算规模非常庞大，通常由 GPU 或云端完成。
＂影像感测＋AI 处理＂双管齐下，安森美强势登场
例如，由基于安森美半导体 AR1335 1300 画素 CMOS 影像传感器的相机系统、NVIDIA Xavier Edge GPU、MobileNetV2 的 TensorRT 版本组成 AI 系统，在六个类别训练 CNN 以辨别新鲜或腐烂的苹果、橙子、香蕉，推理精度达 97%。推理部署的计算量虽较训练环节少，但仍涉及大量矩阵计算。面对深度学习之训练和推断的演算力需求，需要高功率 GPU/TPU 以实现低延迟。陶志总结，AI 要能＂自动、有意识地＂应对变化，系统须配备 VGA 规格、高性能镜头、高科技照明，自动调节光源亮度、自动对焦至适合稳定检测的状态，以清晰拍摄目标工件。
图3：安森美 AR1335 采用 1.1µm 画素背照式 (BSI) 技术以及领先的灵敏度、量子效率和线性阱 (linear trap)，提供出色的微光影像质量
资料来源：安森美提供
安森美通过投资多种传感器和 AI 处理技术，在产业占有一席之地——从仅有 RGB 三元色组成的成像系统到添加详细光谱特征，协助辨识 RGB 力有未逮的部分，且使用 12 位的影像数据提高影像精度，从 X、Y 二维定位信息进化到将深度像元技术或毫米波 (mmWave)／光达 (LiDAR) 与影像融合后获取深度信息，以了解检测对象的全部体积、大小、高度等信息，实现深度学习。安森美的 Super Depth 像元技术、RGBIR 多光谱技术、基于单光子雪崩二极管 (SPAD) 和硅光电倍增管 (SiPM) 的传感器等，为工业、汽车、消费类应用提供优异解决方案。
ST＂全局快门＂高速影像传感器，摄像无失真
意法半导体 (ST) 则针对智能机器视觉推出＂全局快门＂(Global Shutter) 高速影像传感器——VD55G0 (640Ｘ600) 和 VD56G3 (1124Ｘ1364)，具备低寄生感亮度 (PLS)、高量子效率 (QE) 和低串扰三大优势；其中，VD56G3 的嵌入式光流处理器可计算动作向量，不需使用主处理器。ST 主张，当移动或需要近红外线照明的场景时，相较于依序逐步撷取画素数据、须经校正的＂卷帘快门＂(Rolling Shutter)，同时保存每格画面所有画素数据的全局快门是拍摄无失真影像的首选模式，适合扩增／虚拟现实 (AR/VR)、同时定位和地图建置 (SLAM) 及 3D 扫描。
ST 结合创新 40nm 硅工艺与第三代＂完全深沟隔离＂(DTI) 先进画素架构，可在单层背照式 (BSI) 芯片实现 2.61μmＸ2.61μm 超小画素，节省光学传感器和底部芯片之信号处理电路的垂直堆栈空间——顶层传感器画素数组更小、底层可腾出更多硅面积以增加数字程序处理能力及功能，包括＂全自主式低功率光流模块＂——当速率为 60fps 时，能计算 2,000 个动作向量。＂嵌入式向量数据＂的输出对 AR/VR 或机器人定位、引导十分有用，于处理能力有限的主机系统更是帮助良多。上述影像传感器还支持＂全照明控制＂等多项感测环境设置。
图4：同时保存每格画面所有画素数据的＂全局快门＂是拍摄无失真影像的首选模式
资料来源：ST 提供
云端训练＂轻量版＂ML 模型回馈至 MCU
虽然边缘设备的就地处理能力日渐茁壮，但碍于有限计算和存储资源，现阶段仍多以推论或类似＂学前教育＂的预处理为主；巨量数据的训练，还是偏好在云端进行。为此，Edge Impulse 公司另辟一种商业模式：导将收集到的传感器数据送到云端 ML 模型训练、予以简化后，再回头部署至 Arm Cortex-M 之传感器、智能插座／灯泡或穿戴设备等嵌入式设备，将精简过的＂轻量版＂模型导入各大 MCU 硬件平台，已与 Arduino、ST、Eta Compute 签署协议，首批在列硬件平台如下：
●Arduino Nano 33 BLE Sense 和其他 32 位 Arduino 开发板；
●ST B-L475E-IOT01A IoT 探索套件；
●Eta Compute ECM3532 AI 传感器板；
●带有STM32H7 Cortex-M7 MCU 的 OpenMV Cam H7 Plus (尤适用 TinyML)；
●Seeed Studio 带有 SAMD51 Cortex-M4 微控制器的 Wio 终端。
付费用户还可使用云端追踪和共享功能，进一步针对特定用例调整模型。至于边缘设备的系统整合，台湾工研院机械所副组长张彦中分享，有些工控系统商把瑕疵检测算法做在相机里，买来即可用；定位和导引是移动机器人的关键技术之一，英特尔 (Intel) 等厂商已尝试将无人搬运车 (AGV) 的传感器结合深度摄像头和定位算法，但要上线执行任务还须搭配导航功能。使用者在意的是稳定度、可靠度和强健性 (Robustness)，这其实难度很大，实验室的样本测试有其极限、不一定能发现；若喂入的数据有所偏颇，AI 训练出来的结果可能存在偏见。
张彦中透露，工控对上线可靠度的要求高，取得大量数据训练加上尝试错误的强化学习 (reinforcement learning) 或有帮助。工研院新近展示的＂AI 自动标注系统＂即借助虚实整合系统 (CPS) 实现：以虚拟摄像头拍摄真实对象的形态并取得位置，产生各种摆放方式、很快产生测试数据，再喂给 AI 模型做训练；因为电脑一秒钟可传送上万笔经过标注的数据，比人工操作高效许多。对于工业应用的机器视觉而言，瑕疵检测和对象辨识的正确率、姿态预测、位置误差都是重要指针；而随着技术成熟、组件成本下降，3D 感测应用将越见蓬勃。
照片人物：工研院机械所副组长张彦中
