有了好视力 (传感器) 与好脑力 (处理器)，如何让两者顺畅互连也是一门学问；于是，物理层接口也成了关注焦点。微芯科技 (Microchip) 表示，在 12.5Gbps CoaXPress (CXP) 2.0 接口标准获得批准前，＂影像撷取＂已然对机器视觉的数据传输形成障碍。为此，Microchip 与日本工业成像协会 (JIIA) 等标准组织以及主要客户合作，结合 CXP 优化旗下产品打造低延迟、低功耗的传输方案，将均衡器、电缆驱动器和频率数据恢复 (CDR) 整合到单一芯片，使相机和撷取卡制造商能通过单一同轴电缆提供高速、高分辨率视频和控制信号，同时供应电源。
Microchip：CXP 2.0 物理层接口加速影像撷取速度
Microchip 推出首款 CoaXPress (CXP) 2.0 单芯片物理层接口组件——EQCO125X40，能加快机器视觉的影像撷取速度并简化系统设计和部署，进而加速工厂大批量生产线的产品流量，如：装瓶作业、食品检测、工业检测和成像应用，且有助于交通／安防监控、医疗检测系统的嵌入式视觉。最重要的是，其全新向后兼容设计，在＂所有速度级别＂上都整合了频率数据恢复和相机侧频率 (camera-side clock)，可支持实际环境需求。这些组件使相机和撷取卡的传输速度比其他解决方案快 4～8 倍，显著提高机器视觉处理的吞吐量。
图1：EQCO125X40 能加快机器视觉的影像撷取速度并简化系统设计和部署，进而加速工厂大批量生产线的产品流量
资料来源：Microchip提供
CXP 组件还能以更低功率和近乎零延迟支持四倍电缆／链路的距离，制造商可将其作为＂电缆中继器＂使用，进一步扩大相机之间的连接距离。新产品支持以任何速度无缝锁定从 CXP-1 到 CXP-12 的所有频率，提高设计容差和灵活性，并通过单一电缆支持 12.5Gbps 带宽，不需再依赖多通道传输；＂以二抵四＂，制造商能从相机和图帧撷取器的两个埠，获得与以前四个埠相同的输输量；在系统成本不变下，满足市场对数据输输量翻倍的需求。另更广泛的布线选项确保系统可安装在需要的地方，整合的 CDR 则改善从相机发送到撷取卡的信号防抖性能。
它们可用于在相机端检索实时低频频率，提供更精确的信号时序，并带有＂低频频率恢复功能＂，无需再设计一个现场可编程逻辑门阵列 (FPGA) 的独立频率，另有四大特色：
可进行默认置和实时电缆链路质量测试，在系统运行前和运行期间实时检查电缆链路的完整性；
电缆容许度 (margin) 测试，可在正常运行出现任何位错误之前检测到老化或磨损的电缆；
＂均衡器＂功能，可轻松满足 CXP 回波损耗规格；
用户可选择通过多条电缆扩展至 50Gbps。
Microchip CoaXPress 2.0 系列涵盖一个纯发射器相机端组件和三个单芯片收发器选件，每款组件均采用 16 接脚四扁平无引线封装，与 Microchip 的 CoaXPress 1.1 系列组件完全向后兼容，评估板可作为客户的开发辅助工具。
图2：EQCO125X40 架构
资料来源：Microchip提供
Lattice：FPGA 平行处理能力提升特定工作负载效率
5G 互连性、云端分析、工厂自动化和智慧家居等技术趋势正在推动机器学习对于嵌入式视觉的需求；于是，有平行处理能力、可大幅提升数据推理等特定处理工作负载效率的 FPGA，亦成备选方案。然有鉴于许多系统都使用多个影像传感器、屏幕和摄影镜头，且网络终端设备往往受限于严格的尺寸和功耗，莱迪思半导体 (Lattice) 在通用 FPGA 之外，特别基于 28nm FD-SOI 工艺＂Nexus 平台＂推出嵌入式视觉优化的 FPGA——CrossLink-NX，号称功耗较同类产品低 75%，且＂软错误率＂(Soft Error Rate, SER) 比同类型 FPGA 低 100 多倍。
这对于要求＂绝对＂安全可靠的关键应用极具吸引力。CrossLink-NX 拥有强大的软件和 IP 数据库——含功能堆栈 Lattice mVision，并支持工业和汽车应用所需的 MIPI D-PHY 接口，仅单颗组件即可快速、轻松地为工业和汽车用户开发各类视频信号桥接、聚合和拆分应用。另一款聚焦 ASIC 和 ASSP 互连的 ECP5，亦获低功耗视觉芯片厂安霸 (Ambarella) CVflow 单芯片 (SoC) 采用，实现各种嵌入式智能视觉应用的 MIPI 桥接功能，包括：视频安全性、先进驾驶辅助系统 (ADAS)、电子后视镜、行车记录仪、驾驶员／机舱监控、自动驾驶和机器人。
表：Lattice 在机器视觉的布局
|
|
|
|
视频接口平台 (VIP) |
模块化硬件开发板，支持嵌入式视觉应用中常用的各种视频和 I/O 接口 (MIPI、LVDS、DisplayPort、HDMI、USB 等)。VIP 开发板目前支持 CrossLink、ECP5 和基于 Lattice Nexus 技术平台的CrossLink-NX FPGA |
|
完善 IP 库 |
Lattice mVision 解决方案堆栈包括各类实时可用的 IP 核心，可用于连接 MIPI 和 LVDS 图像传感器、ISP 流水线、USB 或 GB Ethernet 等通用连接标准，以及 HDMI、DisplayPort、GigE Vision 等显示标准 |
|
友善的设计工具 |
Lattice Diamond 和 Lattice Radiant 两款工具可自动处理许多常见的设计任务，加速并简化 FPGA 程序设计 |
|
端到端的参考设计 |
包括传感器桥接、传感器聚合和图像处理 |
|
定制化设计服务 |
设计服务合作伙伴网络可满足从开发单独的功能设计模块到提供一站式交钥匙 (Turn-key) 解决方案等一系列客户需求 |
数据源：Lattice；笔者整理
EDA 对于 AI 视觉处理功不可没
顺带一提，电子设计自动化 (EDA) 对于安霸 AI 视觉处理器的开发亦功不可没：楷登电子 (Cadence)＂Clarity 3D 求解器＂助力完成电脑视觉 SoC 和 PCB 产品的仿真评估，Mentor 则帮忙达成系统内测试要求。仿真结果显示，在无确切的高速信号固态参考平面时，Clarity 3D 求解器可识别设计上的缺点并矫正散射参数 (S-参数) 回应；利用最先进的分布式多进程技术，有效处理设计复杂 3D 结构时所会遭遇到的电磁挑战，可缩短设计周期并实现更快、更精准的 3D 分析，解决下一代 5nm AI 研发可能遭遇的难题。
此外，＂可测试性设计＂(DFT) 是集成电路 (IC) 设计的关键要素，对于锁定安全关键型汽车应用的先进 AI 组件来说更是如此。Mentor 具高度扩展性的 Tessent 安全生态系统可提供一系列先进的 IC 测试技术，包括专为自驾车 IC 设计质量要求所打造的创新＂在线＂(in-line) 组件监测——把嵌入式监视器分布在每个半导体器件中，并通过共通的基础架构将其连接在一起，实现快速侦测并回报系统中任何位置的随机故障，为设计提供灵活性，成功协助安霸的 CV22FS 和 CV2FS 汽车摄像头 SoC 达阵 ISO26262 的车辆安全完整性等级 (ASIL)。
CV22FS 和 CV2FS 采用的 Tessent 工具包括：
LogicBIST 软件：内建自我测试 (built-in self-test)，可用来测试 IC 的数字逻辑组件，含奈米级 SoC 设计的独特功能，可降低测试成本、缩短产品上市时间，并大幅增进测试质量；
MemoryBIST 平台：具有全面的自动化流程，可在缓存器传递语言 (RTL) 或门级提供设计规则检查、测试计划、整合和验证；
MissionMode 产品：提供自动化和芯片上 (on-chip) IP 的组合，可在车辆功能运作期间的任何时间点对整体汽车电子系统中的半导体芯片进行测试和诊断。
图3：Tessent Automotive 参考流程描述了 Tessent Shell Flow 的实现方式，以满足 ISO 26262 的质量和可靠性要求，并提供制造和系统内芯片测试与诊断能力
人眼 vs. 机器视觉存在差异，如何更上层楼？
德国最近一项研究发现：人眼 vs. 深度神经网络 (DNN) 在处理视觉数据的差异涉及以下三个领域，突显了现今 DNN 和人类视觉系统存在的问题——最常使用的架构是卷积神经网络 (CNN)。
●轮廓检测
对于人类来说，一个封闭的轮廓 (closed contour) 在侧面有许多开放轮廓，视觉上引人注目，但 DNN 可能需要进行远程轮廓集成才有办法做到，且更改线条的颜色和宽度会导致深度学习模型的准确性突然下降——当形状大于特定尺寸时，模型几乎无法检测形状；而当呈现包含不同颜色和粗细的线条、且形状大于训练集的图像时，DNN (以 ResNet-50 模型实验) 亦难以应对。另一方面，DNN 对于极其细微的＂对抗性扰动＂非常敏感，这些变化是人眼无法察觉的＂噪声＂，但会导致机器学习系统的行为中断。
●视觉推理
基于＂合成视觉推理测试＂(SVRT)，让 AI 回答目标图片中不同形状之间的关系，包括相同任务 (形状相同) 和空间任务 (较小形状之于较大形状的相对位置)，然后使用 ResNet-50 并测试其在不同大小训练数据集下的表现。结果显示，对样本进行微调的预训练模型，在相同差异和空间任务上均表现良好，惟相同任务较空间推理任务需要更多的训练样本；若减少训练示例的数量，不只会拖累 AI 性能下降，在相同任务中的降级速度更快。
●认知差距
人类需看到一定数量的整体形状和图案才能识别图像中的物体，不易辨识局部特写视图；但神经网络可发现肉眼无法察觉的微小特征，即使予以放大，这些特征仍可被检测到。这意味着：惟有在完全相同的基础上测试人和机器 (包括指令和程序) 并避免人为偏见，才能消弭认知差距。可惜实务上，当前许多用于衡量机器视觉系统准确性的基准，本身就存在误导性；适当的分析工具和广泛的交叉检查——例如，网络体系结构的变化、实验程序的一致性、泛化测试、对抗性示例及受限的网络测试等，将有助于合理化结果解释，并将这种内部偏见视为现实。
香港市场研究机构 MobiusTrend 日前发布一项报告更指出，随着 AI 产业化的发展，业界对机器视觉的重要性已达成共识，视觉识别 (Visual Identity, VI) 应用尤其最能突显 AI 为产业升级的价值，占比 80%。然而，机器视觉仍有几大待解问题：
1. 机器视觉为各行业提供主动识别／主动标记的基本功能，但其价值尚不足以满足行业深层需求，必须与更多传感器、热成像、太阳光电等技术环境深度集成；
2. 如今，机器视觉的硬件和软件正处于快速发展阶段，将行业需求与机器视觉相集成还需以技术发展趋势为背景去更新产品和解决方案系统；
3. 机器视觉进入行业后，须对特定垂直应用进行客制化。
显见，机器视觉的实务应用价值要再更上层楼，还有赖寻求多方技术合作；MobiusTrend 认为，AI 全像摄影 (holography，又称＂全息投影＂) 将成为机器视觉的关键技术之一，为场景应用提供支持。
