具备夜视能力的摄像机,可以打破昼夜限制,识别夜间无法辨别的目标,提高夜间工作的能力,目前已落地到安防、交通管理、环保监测、夜景拍摄、户外探险等场景。

当前,市场上夜视相机的极限光照度基本在0.01Lux。

照度(Lux),指单位面积上接收到的可见光的光通量,是衡量环境光的亮度单位。“最低照度”反映的是摄像机可以在多黑的环境下仍能看到物体。

然而,受到硬件发展的制约,视觉成像系统的成像效果已接近天花板。但在一些特定场景下,市场需求达到了0.001Lux及以下的星光级。

在未来较长一段时间内,通过硬件实现最低光照度从0.1Lux到0.001lux的跳升,困难极大。

并且,随着复杂场景和图像处理要求的提高,传统ISP在暗光条件下的降噪、对比度增强和暗光提亮方面的局限性,已经越来越明显。

2018年,英特尔实验室发表论文《Learning to see in the dark》,提供了一条新的路径,其通过深度学习算法打造全新AI-ISP成像体系的思路,成为时下提升光照度的主流。

低照度下的夜视技术探索:硬件方案受阻,AI技术解围

在AI-ISP技术出现前,夜视领域的玩家们更多在硬件上想办法,实现更低的照度。

索尼是感光芯片领域的最强玩家,上世纪90年代便已进入低照度全彩夜视领域,并且是背照式、堆栈式CMOS图像传感器的率先研发者。

索尼主要针对感光芯片进行工艺上的改进,核心思路是不断减少电路所占的面积,同时增加感光芯片的感光面积。硬件上,索尼做出不少努力,比如推出全画幅感光芯片。

但即便是索尼,将低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux,也花费了五年时间。使用的最高端的全画幅感光芯片,售价高达上万块钱。

材料学及制造工艺难以突破,硬件制约下的视觉成像系统,成像效果已接近天花板。

短期内,通过硬件提升光照度,难度显而易见,在软件上进行探索,则能打开局面。

2018年,英特尔实验室针对这一世界级难题,提出可以通过整个神经网络实现ISP的全部功能。

ISP(图像处理芯片)类似人脑的视觉处理中枢,当我们想要看到这个世界的时候,大脑中几百亿个神经元链接就会开始工作。AI-ISP相当于将人类复杂的视觉神经网络在摄像机中实现,为摄像机提供一个新的大脑。

ISP作为一系列图像处理算法的集合,负责完成从sensor RAW到图像RGB数据的转换,过程包括各种矫正、去噪、转换和增强等环节。

然而,随着复杂场景越来越多,图像处理要求越来越高,传统ISP在暗光条件下的降噪、对比度增强和暗光提亮方面,局限性越来越明显。

由于传统ISP通常采用硬件实现,不断扩充的参数库,带来调试上的困难,整体开发周期逐步拉长。

而以AI技术为辅助,通过深度学习海量场景和数据,输出算法模型,对图像进行精准处理,则可以在某些场景大幅改善传统ISP的成像效果。

得到端侧大算力的支持后,这种全新的ISP成像体系,突破了传统ISP图像处理体系的硬件限制。

作为解决低照度下实时全彩夜视这一难题的一剂良方,AI-ISP的技术成果,已经落地到了安防、矿井、石油、自动驾驶、无人机等场景。

目前,国外的索尼、豪威、安霸,国内的海康、大华、华为等都是该领域的重要玩家。

除了上述大厂,也有一些创业公司参与其中,比如深知未来、京德致远、影石等。

在深知未来创始人&CEO张齐宁看来,“AI夜视技术是目前唯一能够实现全彩夜视的技术路径”。

目前,深知未来基于其AI-ISP全彩夜视技术,已发布一系列产品,包括无人机载荷S2 PRO和S6,手持夜视单筒镜等。

这些产品突破了传统夜视技术的局限,具有全彩实时成像、高分辨率、不惧强光、成本低、场景适应力强等特点。

AI-ISP商业化落地的两大难点:难调试、成本高

最开始,深知未来按照英特尔的思路,用一个端到端的一体化神经网络实现ISP。

然而,团队很快发现,英特尔的思路虽然可行,但终归只是一个实验室中的技术,很难实现商业化。

原因在于,这一技术需要巨大的算力支持,成本颇高。即使以当下的算力平台,要支持这样一个端到端的一体化神经网络,也仍是一件难事。

经过半年探索,深知未来发现了两个横亘在商业化途中的问题。

其一,用一体化神经网络实现ISP时,很难对其进行调试。

由于不同产品应用对图像的要求不一,因此芯片厂商基本都会预留大量参数,以供产品厂商再做调整,调试出具备自身风格的图像。

然而,对于使用ISP芯片的厂商们来说,想要对一整个神经网络进行调整,为此专门另招专业的算法工程师并不切合实际,此外也根本没有数据对图像风格进行调整。

其二,通过整个神经网络实现ISP的全部功能,难度太大且不必要。

“事实上,只需做跟图像质量相关的关键ISP环节,如降噪、HDR、3A等 AI 化,就能立刻提升图像质量,而不必对整个ISP进行神经网络化。”张齐宁对雷峰网表示。

截止目前,大多数业界针对AI-ISP的研究,都只将少数模块AI化,“大多数芯片厂商只处理其中的一部分任务,仍然留很多参数,让下游产品厂商做调整。”

深知未来于是转换思路,抛弃高成本的整体路线,转而针对关键ISP环节进行AI化,并将自己的夜视神经网络命名为“EODNet”(end of dark)。

2019年,安霸公司提出“AI-ISP”概念,用以描述这种全新的ISP成像体系。

自安霸提出AI-ISP概念后,业界都将自己的相关技术定义为AI-ISP,并提出各不相同的理解。在当时,连AI人脸识别这一更上层的应用,也被纳入AI-ISP领域。

经过几年的探索,业界对于AI-ISP的理解渐渐趋于一致。

张齐宁对雷峰网(公众号:雷峰网)解释道:“AI-ISP的定义,是完成从感光芯片到成像过程的一整个算法集合体,包含20-30个算法。凡解决的问题与这20-30个成像任务相关,如降噪、锐化、HDR等,那么就可以被认为是在解决AI-ISP的问题。”

业界主要玩家中,索尼的重心主要在低照度的底层技术研究上,前期更多探索如何通过硬件实现最低照度;国内在夜视应用领域长期布局的海康、大华,重心则在使用更好的光学镜头与感光芯片,解决具体场景中的夜视难题。

“对比做AI-ISP的友商,深知未来对整个AI-ISP体系研究涵盖的范围和深度是最大的。有的厂商在20-30个算法中,只关注了2-4个领域,深知未来关注了7-8个成像领域。其中3A、超分等技术,很多AI-ISP厂商还没有开始涉及,而深知未来已经做了很多年研究。”张齐宁介绍道。

行业应用多样,同类赛道该如何竞技?

如今,低照度全彩夜视成像,已在G端、B端和C端市场形成多样分支。

比如,在公安领域,低照度全彩夜视成像的摄像机被用于刑侦场景。

数据显示,80%的重大刑事案件发生在夜间,这给刑侦带来了很大困难,传统AI视觉摄像头很难解决黑夜场景下成像模糊乃至缺失的痛点。

全彩夜视摄像机的优点是,即使在极低照度、肉眼无法看清、无补光的夜间环境下,仍能以较低的成本,提供实时彩色清晰的图像。

此外,自动驾驶领域的夜间行驶,工业检测领域的复杂光线场景,基于AI-ISP的低照度全彩夜视成像,都能极大改善图像质量。

根据客户属性的不同,深知未来提供差异化产品,以满足客户需求。

面对B端市场,深知未来的定位是一家技术公司。

深知未来在B端市场,类似一个单点技术服务商,以为合作伙伴竞标提供更有竞争优势的前端产品为主。

“B端选择深知未来,更多的是对方自己有成熟的解决方案,需要一些让客户更感兴趣的点,避免同质化竞争。”

深知未来在B端的产品形态,主要分为两种:整机产品和机芯。

工业无人机是深知未来最先商业化的领域,主要提供完整的产品形态。截止目前,深知未来一共发布了 4 款全彩夜视相机,可适配搭载于大疆的行业机。

其中,全彩夜视无人机载荷S2 PRO在S2的基础上,着重解决夜间作业的关键痛点,实现更远的视距与更精准的定位。

安防领域,深知未来主要提供夜视机芯,合作伙伴基于深知未来的机芯,已经开发出10款不同的安防产品。

面对C端市场,深知未来的定位是一家产品公司。

C端客户需求相对简单,更注重新奇的体验。

深知未来在C端主要推出完整产品,如今年推出的两款便携式夜视设备,单反式的夜视设备P6,以类似单筒望远镜形态的P8 Pro。

P6和P8 Pro是两款从行业到户外的产品。

行业端,应急救援、公安侦查、边防巡检等场景对便携手持夜视设备有着长期的更新需求。

消费端,欧美地区户外文化成熟,徒步露营、打猎观鸟等场景,对便携手持夜视设备的需求同样必不可少。

当下,夜间全彩成像,需求缺口巨大。北美地区,用户对户外精准夜视的需求几近刚需,但市面上主流的热成像夜视仪和红外补光夜视仪,多为黑白成像或弱彩,存在目标细节特征不明显等缺点。

除了便携式设备向消费端的倾斜,深知未来也计划将工业无人机的整个模组和产品做得更加轻量级,在未来搭载到消费无人机上。

结语

在夜间实时全彩成像这一难题上,AI-ISP技术已被证实取得了突破性的进展,但其商业化之路,经历了不断的调整和适配。

自2010年的计算革命开始,AI视觉成像成为一股浪潮。但是夜间在极低照度下,如何在多个行业应用场景里实现全彩成像,仍然是一个需要不断突破的命题。

当下,入局AI-ISP的玩家众多,不仅有海康、大华等安防巨头,还有OPPO、vivo 等手机大厂,芯片端海思、地平线、瑞芯微、安霸、豪威、国芯微等也都有所涉及。投身于其中的巨头们,虽有技术、品牌、渠道优势,但整个赛道仍处于早期发展阶段。

创业公司们通过不同的技术路线进行差异化布局,仍然可以在众多细分领域中找到属于自己的位置。