有这样一个传感器,自2015年ToF传感器首次应用在iPhone X前置摄像头方案中,就迅速掀起了其在手机中应用的热潮,这几年仅在手机上年出货量就已经超亿颗。
而后开始逐渐深入整个消费电子,包括扫地机避障、投影仪辅助对焦、相机辅助对焦、智能灯具、智能卫浴如自动水龙头、自动皂液器、智能马桶、机器人、无人机等。现在,在自动驾驶汽车甚至美国宇航局建造的太空探测器中,都使用了它。它就是ToF(Time of Flight),中文翻译“飞行时间”。
上周,英飞凌宣布,石头科技(Roborock)最新智能扫拖一体机器人V20黑武士内部搭载英飞凌全新的hToF,取代传统的LDS模组和避障模组,提升了扫地机器人的灵活性和可靠性。
所以,ToF究竟有多神奇,未来又会如何改变世界?以下进行详细介绍。
01 ToF的优势和不足
ToF的概念很容易理解,其实有点工作原理和声纳探测很像,通过红外光从物体上反射回传感器后,根据光的发射与反射的时间差,就可以计算出传感器与测量物体之间的距离。
学术界对其的定义为基于时差测距法的三维(3D)成像技术,现已被广泛应用于无人驾驶、卫星测距、生物医学成像、智能机器人等领域。
而用ToF制造的传感器,又称深度相机、ToF相机。ToF传感器主要分为dToF(Direct ToF,直接飞行时间)传感器和iToF(Indirect ToF,间接飞行时间)传感器,苹果使用的LiDAR(激光雷达)就属于dToF,荣耀V20、Galaxy S20 Ultra与索尼Xepria 1 II等产品使用的则是iToF。
iToF在芯片工艺和产业链已趋于成熟,但效果并不完美,其精度会受测量距离影响,距离限制在5米以内,从而导致其应用体验不佳。dToF技术在激光功耗、抗干扰、远距离精度等方面有着明显优势,是远距离应用的绝佳候选,但对芯片设计、系统设计、制造工艺要求较高。
既然激光雷达也是一种ToF,为什么苹果不叫ToF?这因为LiDar使用光脉冲来测量飞行时间,ToF传感器则利用连续波从反射和相移得到飞行时间。ToF需要较少的专用设备,因此可以与更小、更便宜的设备一起使用。随着技术不断拓展,ToF与LiDar协同应用越来越多。
任何一项技术都会有其独特的优势,也会存在一些不足,ToF亦如此。其优势在于低功耗、小尺寸、精确快速的测量、远距离测量、安全性、成本效益上,但也受到散射光、环境光、拐角凹面的影响。
ToF的优势和局限性,信源|贸泽电子
02 三种深度相机,有何优劣?
所谓深度相机也被称为3D摄像头,它和普通2D相机的区别在于可以获取物体到相机的距离信息,加之2D平面的X,Y坐标,计算出每个点的三维坐标,以此推断深度相机的应用,如三维重建、目标定位、导航避障等。
目前,构建3D摄像头拥有三类主流技术——双目、结构光、ToF,三种技术在基础原理和成本、精度上存在很大差别。
双目由于不主动对外发射光源,因此称为“被动深度相机”,应用场景主要包括机器人导航、人脸识别、手势识别等。它通过左右两个摄像头同时拍摄同一物体,然后利用计算机算法计算两个摄像头之间的视差,从而得出物体的深度信息。
因为双目不需要结构光、ToF的发射器和接收器,因此结构简单硬件成本低,适合成本敏感的应用场景。
成也自然光,败也自然光,虽然依靠自然光,可在室内外使用,但强光、暗光的影响都会比较大。同时双目对无纹理的物体或表面影响较大,如纯色墙。
结构光是一种通过投影仪主动发射的主动投影技术,应用场景包括3D扫描、机器视觉、机器人导航等。它通过计算结构化光斑照射到物品表面的畸变,从而生成深度图,主要硬件有投射仪、相机。
结构光在近距离(1米内)的精度达到毫米级,测量范围也比较广、对光线和颜色的敏感度低等,同时因为是主动投影,所以适合弱光照使用。
不过它不太适合在强光环境适用,容易干扰投影光,同时测量距离和分辨率存在一定的局限性。
由于主动发射脉冲光,所以ToF属于主动测量方式,主要应用场景包括客流统计、无人零售、虚拟现实、机器人导航等领域。相机通过发送一束光到目标物体上,这个光的波长通常为红外线。当这束光被目标物体反射回来时,相机的光电二极管(PD)阵列接收反射光,并测量光的时间飞行(ToF)。基于ToF的测量技术可以计算光从相机到物体然后返回相机的时间,从而确定物体的距离。
ToF不需要任何外部光源,即便没有光线情况下也能工作,深度距离计算不会随距离变化而变化,而且测量距离远至百米,不受表面灰度和特征影响,可用于无人驾驶。更重要的是,ToF不像双目相机、结构光需要经过算法处理才能输出三维数据,TOF可以直接输出被测物体三维数据。
与结构光相同,ToF对于环境光照的干扰也很敏感,室外强光基本无法使用,同时反光的表面(在不同方向反射光),或者角落(产生多次反射)也都会使得ToF传感器很难工作。
总之,ToF是一种经济高效、机械紧凑的深度成像解决方案,不受环境照明变化的影响,相比来说也是一种比较平衡的选择,所以ToF传感器适合大部分应用,应用更广泛。
03 哪些厂商在推进ToF
ST的三合一智能光学模块VL6180X是较早用于智能手机中的ToF产品,该芯片整合了接近传感器、环境光传感器以及VCSEL光源。接下来的5年里,ST陆续推出了VL6180X、VL53L0、VL53L1、VL53L3、VL53L5等四代ToF产品。
ST的VL53L5产品也能应用在工业机器人领域,是第一款能够监测64个不同区域的ToF传感器。它与VL53L1X相似,都具有相同的量程,并采用了940nm VCSEL。不过,VL53L5尺寸稍大一些,为6.4mm x 3mm x 1.5mm。但视野范围扩大到61º(水平和垂直方向43º),而不是上一代的27º。
英飞凌则在最近与合作伙伴pmd及欧菲光携手开发并推出经济高效的深度感知技术hToF,面向消费类应用。特别是消费类机器人,与配备激光距离传感器(LDS)+避障模块的机器人相比,超小的hToF传感器有助于设计更加纤薄的机器人。
独特的hToF技术采用英飞凌的高分辨率REAL3 ToF传感器,辅以均匀的泛光光源和强大的多点网格光源(spot grid illumination),提供经济高效的解决方案。hToF摄像头具有110°超宽水平视野(FoV),是SLAM和避障的理想之选。
ADI公司的ToF模块在汽车领域具备很强大的优势,其开发的ToF模块结合影像传感器和VGA ToF传感器模块与内建图像处理器方案,比传统音波检测具备更佳的检测角度,也更能准确测量物体跟汽车的距离。因此可为汽车倒车系统、开门防护系统、停车辅助系统及盲点侦测等应用提供更大范围的碰撞侦测预防。
作为ToF方案的核心器件之一,ADI的ToF前端芯片ADDI903x系列支持CCD红外光ToF传感器,分辨率可达640 x 480.ADDI903x可将影像信号转换为数字信号,并提供高精确度的脉波时间控制器,闭回路设计,让激光二极管控制的脉波宽度更准确,进而可以得到更精准的深度数据。
ams OSRAM拥有全球最小的集成式1D ToF距离测量和接近传感模块。这款传感器非常适合实施存在监测,例如,当用户脸部位于识别范围内时,即可触发人脸识别系统操作。最新款TMF8701传感器采用2.2mm x 3.6mm x 1.0mm封装,有助于智能手机制造商实现具有高显示屏占比的宽屏手机设计。
TMF8701集成了VCSEL红外发射器、多个SPAD(单光子雪崩光电二极管)光探测器、时间-数字转换器和直方图处理内核。设备在芯片上实现基于直方图的全占位监测、距离测量和接近传感算法。TMF8701独立识别显示屏上的指纹污染以及盖玻片范围以外物体(例如用户脸部)的光反射,即使在传感器孔径脏污时,也能保持可靠性能。在正常照明条件下测量距离为20~60cm范围时,模块实现了±5%准确度。即使在明亮太阳光(100klux)下,也可以在高达35cm的范围内保持±5%准确度。
索尼的ToF图像传感器将背照式CMOS图像传感器的像素技术,与读取反射光信号、提升精度的索尼独创像素技术相融合,实现了3D ToF摄像头模组的小型化,并且还发挥背照式结构的优点,大幅提升了测距的处理速度和高效将光转换成电子信号的距离分辨率。另外,传统ToF方式难以测量约10m的远距离,而新产品通过搭载提升感光度的驱动模式,实现了高检测率。在约30cm到1m的近距离范围内,则能凭借VGA分辨率,获取高精度的距离图像。
TI早在2013年就发布过3D ToF手势技术但是用于控制领域。2017年发布的OPT8241算是一款经典产品,这颗芯片属于3D TOF图像传感器系列。它将ToF感应功能与经优化设计的模数转换器(ADC)和通用可编程定时发生器(TG)相结合,以高达150帧/秒的帧速率提供四分之一的视频图形阵列(QVGA 320x240)分辨率数据。主要的应用是深度感测,例如3D扫描、手势控制等等,其终端应用在ATM、人数统计等等。
Teledyne e2v研发的第一个3D飞行时间法解决方案,具有130万像素分辨率深度与1英寸光学尺寸。在可见光与近红外光谱850nm波长出量子效率大50%,高动态范围可实现实现夜间和日夜视觉;可获取快速移动的目标3D图像:速度高达120帧/秒,全分辨率30帧/秒深度图像,全局快门效率高。
迈来芯Melexis在2017年推出了MLX75023 1/3英寸光学格式ToF传感器,其提供当时世界上最小的QVGA分辨率像素,并具有63dB线性动态范围和日光鲁棒性。MLX75123配套芯片将传感器IC直接连接到主机MCU,可以从传感器快速读取数据。
ToF虽然在这几年好像存在感没有2020年左右那么强了,但实际上,依然有很大潜力。Yole曾经预测,2025年ToF将会拥有150亿美元的市场,2024年应用于智能手机的后置3D摄像头市场规模将增长到每年5亿多颗。
总之这个市场还在继续成长,厂商们也在不断进化,包括英飞凌的hToF,未来这个市场的竞争也会越来越激烈。