研调机构 MarketsandMarkets 预估，今年全球飞时测距 (ToF) 传感器市场规模约 28 亿美元，2025 年将达 69 亿美元，期间年复合成长率 (CAGR) 为 20%，智慧手机与汽车为主要动力。由于快速获取深度影像在机器人、人机交互和场景建模等皆应用广泛，加上 3D 机器视觉 (Machine Vision) 在航天国防、消费电子和医疗保健等行业逐渐推展以及智慧工厂的广为部署，都让这个原本单纯用于对焦拍摄的功能模块有了更多可能——在手机的 3D 相机嵌入 ToF 传感器将为增強现实 (AR)／虚拟现实 (VR) 的前行加柴添火。
图1：ToF 传感器市场预测
资料来源：https://www.marketsandmarkets.com/Market-Reports/time-of-flight-sensor-market-264466295.html
资料来源：https://www.marketsandmarkets.com/Market-Reports/time-of-flight-sensor-market-264466295.html
今后五年，消费电子是 ToF Sensor 主场
他们表示，汽车的 AR 抬头显示器 (HUD) 和投影机皆是 ToF 传感器的目标应用，使高级驾驶辅助系统 (ADAS) 可显示视觉警报，便于驾驶员查看投影在显示屏幕上的虚拟信息。受惠于高可靠、低功耗、低成本、易于集成和市场需求上扬，2020～2025 年将是 ToF 传感器在智能手机、穿戴设备、平板电脑和相机等消费电子增长最快的时期，包括：影像、位置和超音波传感器；不过亚太地区因为对于制造业的监视和检查应用需求增加，CAGR 最高。与此同时，ToF 传感器需求激增将推动 ToF 技术更上层楼，惟相关方案的额外成本恐将造成桎梏。
他们表示，汽车的 AR 抬头显示器 (HUD) 和投影机皆是 ToF 传感器的目标应用，使高级驾驶辅助系统 (ADAS) 可显示视觉警报，便于驾驶员查看投影在显示屏幕上的虚拟信息。受惠于高可靠、低功耗、低成本、易于集成和市场需求上扬，2020～2025 年将是 ToF 传感器在智能手机、穿戴设备、平板电脑和相机等消费电子增长最快的时期，包括：影像、位置和超音波传感器；不过亚太地区因为对于制造业的监视和检查应用需求增加，CAGR 最高。与此同时，ToF 传感器需求激增将推动 ToF 技术更上层楼，惟相关方案的额外成本恐将造成桎梏。
ToF 虽能提供精确深度测量、拜智能手机 3D 脸部解锁之赐而声名大噪，但另一研调机构 Research And Markets 表示，许多目前可用的 ToF 相机分辨率偏低、且易受到各种测量误差影响，包括来自传感器的噪声。这归咎于 ToF 难以生成正弦信号、依赖反射率和积分时间的非线性深度偏移，以及信号在深度不均匀性 (边缘) 处迭加而产生的动态像素所导致的系统性摆动误差。所以，目前许多 ToF 传感器系统都是借助深度学习 (Deep Learning) 的网格＂占用机率＂或记录不同视图生成的点云，来组合深度影像以建构 3D。
身为先进厂商之一的意法半导体 (ST) 印证：ToF 以手机出货为大宗，产品重点在于关系到视野涵盖范围的视场 (FOV)，以及单点测距能划分成多少区域？如今，ST FlightSense 从一维单点测距扩展到多区域测距、再到高分辨率 3D 深度传感器，近两年 ToF 模块出货量已暴增近三倍；ST 并透露，最新 3D ToF 模块预计于今年底问市。亚德诺半导体 (ADI) 对 3D ToF 也多有着墨，正与思科系统 (Cisco) 的衍生公司 Jungo Connectivity 共同研究将车载光达 (LiDAR) 和人工智能 (AI) 用于驾驶舱内的监控技术。
图2：使用先进的深度学习、机器学习和电脑视觉算法，通过面向驾驶员的摄像头来实时检测驾驶员状态并支持车内全面检测技术，例如：乘客人数统计、安全带使用情况检测、危重病情检测或观察
资料来源：https://www.analog.com/en/about-adi/news-room/press-releases/2020/2-5-2020-analog-devices-jungo-cooperate-on-in-cabin-monitoring-technology.html
资料来源：https://www.analog.com/en/about-adi/news-room/press-releases/2020/2-5-2020-analog-devices-jungo-cooperate-on-in-cabin-monitoring-technology.html
高功率纳秒光学脉冲捕捉，车内状态无所遁形
使用高功率纳秒光学脉冲＂抓取＂(capture) 汽车内部状态，可观察驾驶员的头部和身体位置及视线方向，以检测手势动作或是否有睡意，例如，一旦感测到驾驶有困倦情形或因电脑视觉算法／AI／光检测／测距系统而分心，Jungo 的 CoDriver 软件系统会提出警告。CoDriver 还支持乘客计数、安全带磨损或关键医疗状况检测或观察。上述 3D ToF 系统使用 640Ｘ480 像素的传感器，号称分辨率是同业的四倍，更易于检测更小、更薄的物体 (包含深度检测)，不需后端应用处理器 (AP) 就能输出深度像素数据。
使用高功率纳秒光学脉冲＂抓取＂(capture) 汽车内部状态，可观察驾驶员的头部和身体位置及视线方向，以检测手势动作或是否有睡意，例如，一旦感测到驾驶有困倦情形或因电脑视觉算法／AI／光检测／测距系统而分心，Jungo 的 CoDriver 软件系统会提出警告。CoDriver 还支持乘客计数、安全带磨损或关键医疗状况检测或观察。上述 3D ToF 系统使用 640Ｘ480 像素的传感器，号称分辨率是同业的四倍，更易于检测更小、更薄的物体 (包含深度检测)，不需后端应用处理器 (AP) 就能输出深度像素数据。
在驾驶舱内，更高的分辨率可用于脸部识别以获取信息娱乐、个性化服务或在线付款。ADI 3D ToF 解决方案包括处理、雷射驱动器、电源管理、开发板及相关软件、韧体，亦有提供合作伙伴的设计服务模块。ADI 亦与 First Sensor 公司开发光达产品，利用雪崩光电二极管 (APD) 优化互阻放大器 (TIA)，包括将宽动态范围光电流转换为低阻抗电压信号的多信道 TIA。ADI 表示，优化 APD 和 TIA 之间的互连至关重要，因为它会显著影响背景噪声和带宽。这两个参数的改进直接转化为光达系统，该系统可在更长的范围内以更高的精度检测物体。
ADI 以在高性能微机电 (MEMS)、射频 (RF)／毫米波 (mmWave) 和光子／光学技术上的厚实底蕴，此项合作标志 ADI Drive360 自动驾驶解决方案策略的下一阶段。另一方面，ToF 数组是用于移动后 3D 感测的关键组件，而 ToF 相机嵌入智慧手机可追溯至 2016 年，乃使用 pmd 和英飞凌 (Infineon) 的 ToF 数组。英飞凌主张，传感器填补了现实与数字世界的鸿沟，与适当的软件结合，可为智能设备和机器人赋予视觉、听觉、嗅觉、知觉，直观了解环境，重点是如何连结、诠释来自于不同传感器的信息，这也是他们与 pmd 合作的动机。
图3：ToF 技术将单个调变的红外光源投射到感兴趣的对象、用户或场景上，然后由 ToF 成像仪捕捉反射光并测量每个像素的深度、幅度和相位差
资料来源：https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/
资料来源：https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/
细微面容、手势变化，ToF 了如指掌
3D 深度传感器在智能手机及依赖于精确 3D 影像数据的应用扮演关键角色，与立体视觉或结构光技术相比，ToF 令人心动的性能、精巧和功耗，更适用于电池供电设备。ToF 深度传感器可实现脸部、手部细节或物体的精确 3D 影像，但前提是须确保映像出来的影像与原始影像匹配才有意义；而高性能像素数组可实现出色的户外性能，尤其是在强烈阳光下。通过英飞凌专利 SBI (抑制背景照明) 电路，可在每个像素实现 VGA 分辨率，其新型 3D 影像传感器芯片 IRS2877C 将于今年中量产。
3D 深度传感器在智能手机及依赖于精确 3D 影像数据的应用扮演关键角色，与立体视觉或结构光技术相比，ToF 令人心动的性能、精巧和功耗，更适用于电池供电设备。ToF 深度传感器可实现脸部、手部细节或物体的精确 3D 影像，但前提是须确保映像出来的影像与原始影像匹配才有意义；而高性能像素数组可实现出色的户外性能，尤其是在强烈阳光下。通过英飞凌专利 SBI (抑制背景照明) 电路，可在每个像素实现 VGA 分辨率，其新型 3D 影像传感器芯片 IRS2877C 将于今年中量产。
迈来芯 (Melexis) 汽车级 ToF 影像传感器 MLX75027，在单个球栅数组封装 (BGA) 提供 VGA (640 x 480 像素) 分辨率的影像感测和处理，使用调变光源和光学 ToF 感测创建驾驶舱三维影像，用于监视人／物、辨识手势、检测车辆外部空间、行人和障碍物的碰撞预警以及导航应用。该器件支持高达 100MHz 调变频率，可发挥垂直腔面发射激光器 (VCSEL) 的全部潜力以实现高距离精度，支持 135 FPS 帧速率，能检测、追踪快速移动的物体，评估板 EVK75027-110-940-1 可提供 940nm VCSEL 照明和带有内置带通滤波器的 110 度视场光学器件。
值得留意的是，复合式 (Combo) 产品正在兴起。SiLC Technologies 力推＂4D ToF＋视觉传感器＂系统单芯片 (SoC)——智能视觉，是光达系统的理想方案；传统图像传感器在直接将光子转换为电子建立 2D 图像的过程，会忽略光子在相位、波长和偏振方面所隐含的大量信息——原始 ToF 是经由查看两个或多个测量值以算法得出速度数据；＂智能视觉＂的调频连续波 (FMCW) 可实现无干扰的仿人眼安全操作，利用连贯检测技术实现低雷射峰值功率并＂同时测量瞬间速度＂。另随着越来越多的车辆配备光达，FMCW 仅接收相干返回的光子，不易受到其他光达干扰。
图4：SiLC Technologies 采用连贯测量方法，可将精度提高几个数量级
资料来源：https://www.silc.com/
资料来源：https://www.silc.com/
FMCW 1550nm 强势登场，但复杂度＆成本待解
SiLC 表示，通常这样的方案需要整合窄线宽激光器和同调接收器 (相干接收器) 等价格高昂的电信级组件，而他们可解决这样的困扰：利用成熟的硅光子平台，将所有必需的功能集成到单一硅芯片中，进而提供紧凑且经济高效的解决方案。今年美国消费电子展 (CES 2020) 期间，再与 Varroc 照明系统联袂展示上述单芯片在汽车 LED 前照灯的应用，利用四个 SiLC 的硅光子 FMCW 1550nm 视觉芯片，让每个前照灯可提供完整的 20 x 80 度视场，可准确检测高度、宽度、距离、反射率、速度和光偏振，并强调此一芯片架构可无缝嵌入车辆的任何位置。
SiLC 表示，通常这样的方案需要整合窄线宽激光器和同调接收器 (相干接收器) 等价格高昂的电信级组件，而他们可解决这样的困扰：利用成熟的硅光子平台，将所有必需的功能集成到单一硅芯片中，进而提供紧凑且经济高效的解决方案。今年美国消费电子展 (CES 2020) 期间，再与 Varroc 照明系统联袂展示上述单芯片在汽车 LED 前照灯的应用，利用四个 SiLC 的硅光子 FMCW 1550nm 视觉芯片，让每个前照灯可提供完整的 20 x 80 度视场，可准确检测高度、宽度、距离、反射率、速度和光偏振，并强调此一芯片架构可无缝嵌入车辆的任何位置。
研调机构 IDTechEx 指出，1550nm 是有利选择，因为其最大工作功率比 905nm 功率高四十倍、太阳辐射比 905nm 低三倍，且在雨、雪、潮湿表现更佳；相较于波长＜905nm、需调变幅度以进行信号编码的 ToF，＂信号噪声比＂(SNR，信噪比) 可提高十倍——SNR 与峰值功率成正比；此外，可通过线性调频长度控制距离分辨率和精度。唯一要求是：需要更复杂的非硅激光器和检测技术；另 1550nm 采用的应是 InP (磷化铟) 工艺，须放置在空腔中并通过板载驱动电路线性化、且需要非硅光电探测器的协助，成本较高。
FMCW 的设计和制造皆复杂许多，需要可调谐的窄带宽雷射光源。SiLC 单芯片架构会产生向上和向下的线性调频 (频率斜坡)，而源于速度和范围的返回信号延迟会导致自身频移。此时，可通过＂返回信号＋本地信号＂取得＂拍频＂(beat note 或 beat frequency) 测量。同样聚焦 1550nm 的还有豪威科技 (OmniVision) 与光程研创 (Artilux)，面向移动设备、汽车光达和机器视觉应用共同开发号称＂全球首个基于硅基锗 (GeSi) 光子之广谱 3D ToF 传感器＂，可检测范围涵盖可见光及 850nm/940nm、1350nm/1550nm 不可见光，拟于今年第一季量产。
深度误差、测量时间、背景噪声，魔鬼藏在细节里
光程研创表示，GeSi 像素在更长的近红外波工作比 940nm 安全得多，可在符合安全法规下使用更高的雷射功率，这意味着可在 1200～1400nm 安全部署的雷射功率是 940nm 的十倍；代工伙伴台积电 (TSMC) 补充，GeSi 的深度误差比硅像素低。与此同时，瑞士半导体厂商 ESPROS Photonics 试图使用高性能 CCD 解决 ToF 光达测量时间与 SNR 之间的两难。为等待远方信号，影像传感器须长时间保持开启、累积大量背景信号而产生散粒噪声 (shot noise)——与＂环境时间积分的时间平方＂成正比，信号强度又与＂距离平方＂成正比。
光程研创表示，GeSi 像素在更长的近红外波工作比 940nm 安全得多，可在符合安全法规下使用更高的雷射功率，这意味着可在 1200～1400nm 安全部署的雷射功率是 940nm 的十倍；代工伙伴台积电 (TSMC) 补充，GeSi 的深度误差比硅像素低。与此同时，瑞士半导体厂商 ESPROS Photonics 试图使用高性能 CCD 解决 ToF 光达测量时间与 SNR 之间的两难。为等待远方信号，影像传感器须长时间保持开启、累积大量背景信号而产生散粒噪声 (shot noise)——与＂环境时间积分的时间平方＂成正比，信号强度又与＂距离平方＂成正比。
图5：长程测量 vs. 噪声的权衡
资料来源：
https://www.idtechex.com/en/research-article/idtechex-attends-autosens-latest-trends-in-automotive-lidars/19715
资料来源：
https://www.idtechex.com/en/research-article/idtechex-attends-autosens-latest-trends-in-automotive-lidars/19715
因此，长程测量的环境散粒噪声很容易将背景信号掩盖掉。ESPROS Photonics 说明，CCD 传感器会通过 CCD 数组将测量到的光子依循个别像素 (pixel-by-pixel) 做转换，需时约 5ns。一旦发出雷射光会自动选择适合者，将捕捉到的光线转换为电荷，再通过 CCD 数组依序传送，并一再重复这个过程。最终，总曝光时间为 5ns，可减少 360 倍的环境光。好处是：可捕捉远处反射的信号，无需长时间开启摄像头，因而可将噪声降至最低。同场竞技的还有本就在 ToF 传感器芯片和核心算法拥有压倒性优势的索尼 (Sony)。
Sony 在 CES 展示集成 33 个传感器的电动车 Vision-S——包括使用三部固态光达测量距离以产生准确的 3D 空间视图，并借助 ToF 检测／识别车内人员。顺带一提，Sony 自 2015 年收购比利时手势识别公司 SoftKinetic 后，顺势取得 DepthSense ToF 感测系统，奠定厚实基础；去年推出 ToF 相机模块就一举在 3D 感测接收器抢下 45% 市占。同属日系厂商，松下 (Panasonic) 日前发布基于自有 APD 技术的 ToF 影像传感器。借助电子倍增器和电子储存的垂直堆栈结构 (VAPD)，能减少传统单光子雪崩光电二极管 (SAPD) 的像素面积。
图6：常规传感器和新型垂直堆栈式 APD 传感器之像素结构比较图
资料来源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
资料来源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
弱光检测＋光子累积和时分间接，让 ToF 看得更远
如此一来，可根据物体位置获取百万像素、间距为 6μm 的高精度 3D 信息且便于微型化。除了长距离和高分辨率的 3D 成像，新传感器还实现了高精度测距，可精确检测远处重迭的人和物体。有别于常规 ToF 传感器不能检测弱光信号、仅限于短距离检测；通过将入射光子的数量转换为积分信号并应用间接 ToF 计算，即使在 10～100 公尺的长距离，也能实现 10 公分的短距间隔感应成像。松下早先于 2018 年发布配备 APD 远程的 ToF 影像传感器虽能检测由近而远的小物体，但测距精度只有 1.5 公尺，远处人、物仍有重迭现象。
如此一来，可根据物体位置获取百万像素、间距为 6μm 的高精度 3D 信息且便于微型化。除了长距离和高分辨率的 3D 成像，新传感器还实现了高精度测距，可精确检测远处重迭的人和物体。有别于常规 ToF 传感器不能检测弱光信号、仅限于短距离检测；通过将入射光子的数量转换为积分信号并应用间接 ToF 计算，即使在 10～100 公尺的长距离，也能实现 10 公分的短距间隔感应成像。松下早先于 2018 年发布配备 APD 远程的 ToF 影像传感器虽能检测由近而远的小物体，但测距精度只有 1.5 公尺，远处人、物仍有重迭现象。
今年新问市的 APD-ToF 可解决此问题，且最大距离为 250 公尺。通常，ToF 测距借助测量从光源发出的撞击子、反射和返回的光子飞行时间来计算距离。从＞10 公尺处反射意味：从机率上说，一个光子的信号几乎无法到达！特别一提的是，松下的＂弱光检测技术＂可通过使用内置在所有 APD 像素中的独特积分电路，稳妥捕捉单一光子的弱信号并以机率计算入射光子的数量。另＂光子累积和时分间接＂ToF 技术可将入射光子的数量转换为积分信号，并适用于短距离的间接 ToF 计算，如前所述，使 3D 成像能以 10 公分间隔的距离精度实现 10～100 公尺的长距离检测，这对于传统的 ToF 传感器和光达来说是困难的。
图7：右图中的 APD-ToF 传感器，使用光子累积和时分间接 ToF 技术所获取的 3D 范围图像层次更为清晰
资料来源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
资料来源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
