近日,慧鲤科技公布了其在手机影像AI超分辨率领域的最新突破,在世界领先的独立质量测评实验室DXOMARK 的手机后置摄像头测试基准第4版的远摄(Tele)专项评分中,搭载慧鲤最新AI超分辨率算法的智能手机取得了144分的远摄成绩,在该领域表现第一。凭借创新地将深度学习与物理成像模型深度结合,慧鲤实现了先进的AI计算光学和AI计算摄影算法,可分别弥补光学镜头和传感器硬件的不足,最大限度的还原出真实场景的原始信息,并大幅提升最终图像细节和清晰度。
慧鲤的AI超分辨率还实现了全倍率、全场景覆盖,在1.0x到100x倍率范围内,室内、室外、夜景、人像、运动等场景下均能提供优异的超分效果,其中,低倍率(close range)和远距离(long range)评测成绩大幅领先目前市场最高水平的产品。此次突破彰显了慧鲤在AI超分辨率技术领域软硬协同的创新能力,显著拓展了智能手机的长焦摄影能力和应用场景。
DXOMARK 的手机后置摄像头测试基准第4版于2020年10月发布,慧鲤在2022年提交评测之时使用的是第4版基准*。此次慧鲤科技向DXOMARK提交用于AI超分辨率算法性能评估的智能手机样机配备了目前最好的长焦摄像头之一。它采用4800万像素1/2英寸传感器,单像素尺寸0.8um,等效120毫米f/4.1光圈镜头,并配有OIS光学防抖。得益于AI超分辨率算法的突破,在DXOMARK第4版测试基准远摄专项评分中,搭载慧鲤算法的智能手机样机相较配备同等硬件规格长焦摄像头的智能手机产品,实现了高达13分的成绩提升。
从交织错综的城市建筑群,到山川耸立的自然风光,这些景象在长焦镜头下呈现的空间压缩感,能够给人带来一种身临其境之感。很多美妙绝伦的获奖摄影作品也诞生在长焦镜头之下,可以说,人们对长焦的追求以及纤毫毕现的画质拍摄没有上限。然而,在实际的摄影过程中,光信号从进入光学模组到最终成像输出,需要经过镜头、传感器、图像处理芯片(ISP)等多个复杂的环节,容易导致光信号信息丢失、形态改变,造成像差等“失真”现象。受到体积所限,智能手机所配备的光学镜头和传感器的素质也难以和单反相机相媲美,最终损失的光信号在信号分辨率大幅放大的过程中会更加凸显,限制了捕捉高频细节和远景的能力。
精准恢复物理世界的真实光学信号需要精确的成像模型。传统方案一般是通过数学建模来表达物理成像过程,其优势在于可解释性强且遵循物理世界的光学成像原理。但由于相机成像系统复杂,加上镜头、图像传感器等硬件在设计和制造过程中会不可避免地产生不同程度的偏差或缺陷,导致数学模型的最终输出结果往往与实际物理成像的结果相差甚远,比如光学像差、噪声、信号窜扰等。另一种方案是完全依靠对大量数据的深度学习进行图像恢复,“猜测”损失掉的画面细节并进行“填充”,这种方法虽然可以在一定程度上利用采集到的训练数据抵消硬件偏差的影响,但常常会碰到一些边角案例会生成一些不符合物理世界规律的画面内容,影响成片率,而且还需要针对不同硬件平台采集不同数据,成本高昂。
慧鲤科技的“AI+成像模型”将基于成像系统的物理模型和基于大数据的深度学习两者的优势结合在一起,利用了深度学习对成像数学模型和实际物理成像过程不一致的情况进行弥补。针对光学镜头,慧鲤的计算光学算法可以更聪明地恢复因光学缺陷所造成的光信号信息损失,为传感器提供高质量的“原料”。在传感器端,慧鲤的计算摄影算法可对多帧图像进行逐像素的智能融合,最大化利用光信号信息“原料”的价值,结合多帧融合、分辨率放大、降噪等算法和图像处理芯片(ISP)的处理,使清晰度、细节、噪声水平等更加逼真地达到物理世界的信号水平,最终输出一张分辨率更高、细节更丰富的照片,让远方的美景纤毫可见。不仅如此,基于同一套算法框架和高效的自动化工具链,慧鲤可快速适配高、中、低阶等不同摄像头硬件配置的智能手机,通过软件算法与成像硬件的紧密协同,实现最大化的画质提升,帮助智能手机取得机身尺寸和长焦成像质量上的完美平衡。
DXOMARK影像质量总监Claire NASLOT表示:“DXOMARK的远摄测试会在大约 40 毫米至 300 毫米的焦距范围内对所有图像质量属性进行评鉴,测试场景涵盖来自实验室中的许多客观测量和对现实生活图像的感知分析,其中的纹理和细节表现是我们关注的重点。搭载慧鲤算法的智能手机,其远摄图像质量令人印象深刻,在各种焦距下,它的细节保留效果均相当出色,拥有比其他手机产品更好的纹理和噪声表现。这意味着用户在多种长焦拍摄场景下,都能获得更加清晰、干净的照片。”
AI超分辨率是慧鲤智能影像一直以来所倡导的AI图像传感器(AI Sensor)、AI图像处理芯片(AI ISP)以及AI软件算法(SDK++)三位一体的智能影像解决方案的典型代表。这种三位一体的解决方案可以充分利用手机相机系统软硬件的优势,为用户提供极致的影像画质和性能表现。一方面,慧鲤利用AI技术充分挖掘镜头模组和各种新型传感器等硬件的潜力,最大程度的利用成像设备的底层特性,以得到最优的成像质量。另一方面,慧鲤也利用AI技术将成像系统中的各个独立的部件有机地结合在一起,使得原本独立运作的成像模块成为协同合作的成像平台。
在AI Sensor方面,慧鲤利用其独有的高效轻量AI技术,将AI-RMSC、去坏点、去摩尔纹、HDR融合、颜色融合、RAW域去模糊、深度图增强等算法成功地移植固化到小型图像传感器上,在大幅提升图像质量的前提下,解决了图像传感器面积小、功耗标准严、发热量控制要求高等阻碍AI落地传感器领域的难题,目前已经成功研发并落地了多款手机旗舰的图像传感器IP固化。在AI ISP方面,慧鲤提供视频HDR和视频夜景的核心功能,支持多种新型图像传感器和多摄像头,可定制化的AI Engine提供可扩展的混合精度计算平台,进一步提升能效比,支撑丰富的AI模型应用。在SDK++方面,结合新型AI图像传感器和计算摄影算法,慧鲤推出了夜景、HDR、超分、人像、虚化、运动去模糊、插帧、屏下摄像头等多个拍照和视频画质增强产品,已应用于多家智能手机品牌的产品当中。
作为智能手机产业的头部AI软件供应商,慧鲤致力于通过AI技术的赋能,以业内领先的图像处理技术,输出专业优质的影像效果,打造丰富多样的特色功能,让手机拍照更简单,让照片质量更上一层楼,让每个人都能成为摄影大师。慧鲤持续引领AI感知和成像技术突破,通过场景驱动,结合强大的软硬件结合能力,降低消费者的使用门槛,轻松拍出更清晰、更自然、更美观的照片,不断丰富人们的移动影像体验。
备注:*目前DXOMARK线上公布的影像基准为第5版更新,但并不影响第4版评测结果的权威性。
