自研芯片全解读：超人个月研发，效率指数级提升

东西(微信官方账号:aichip001)

作者|彭云

编辑|心缘

9月6日消息，vivo今天在一场影像技术分享会上正式推出了自主研发的ISP芯片V1，并分享了vivo和蔡司在手机光学镜头和相机算法技术上的新突破。

vivo影像产品经理王兆丰表示，夜景、变焦、运动稳定、视频等功能是vivo影像系统的重点方向。在手机摄影领域，“现在是算法更重要还是硬件更重要？”是vivo这次抛出的核心问题。

在发布会的最后，vivo也预热说他们的vivo X70系列旗舰手机将在9月9日发布。除了这次展示的新技术，vivo还会在拍照技术上带来更多“惊喜”。

1.“等效32MB缓存”翻转桌面CPU，将算法写入芯片。vivo图像算法总监杜元佳表示，消费者现在不仅需要手机在常规场景下拍出好照片，还希望在一些具有挑战性的场景下拍出好照片，比如暗光、移动场景等。

这些需求对手机处理图像信息的能力提出了更高的要求。如今，在拍摄30帧视频时，每幅图像只需33毫秒就可以让处理器执行操作。

除此之外，功耗也成为了一大挑战:既要提高处理能力，又不能过多增加功耗。为了解决这个问题，vivo的思路是将定制芯片和自研算法相结合。

其实vivo之前在引入定制芯片方面已经积累了一些经验:在vivo X1和X Play中，vivo将定制的Hi-Fi芯片放入手机中，改善手机的音频体验。到2017年，vivo将把定制的DSP图像芯片放入X9 Plus，以提高手机图像的HDR性能。

这一次，vivo组建了一个300多人的RD团队。经过24个月的研发，它终于推出了V1 ISP芯片。杜元甲表示，在这款芯片的研发上，vivo也与手机SoC厂商有深度合作，但他并未透露具体厂商名称。

2019年，vivo与三星联合开发Exynos 980 5G SoC。据说vivo今年也会在X70系列旗舰中使用三星Exynos 1080 SoC。可见vivo和三星一直保持着良好的合作关系。

所以我们推测vivo ISP芯片的合作方是三星。

V1是vivo开发的第一款视频芯片。可以搭配不同的主芯片和屏幕，可以扩展ISP的计算能力，释放主芯片ISP的负载。

该V1芯片在性能、延迟、功耗等方面具有优势。当涉及到特定的图像处理任务时。杜元甲说，与CPU、DSP等芯片相比，V1处理特定任务的效率“成倍提高”，它还能完成数据的并行处理。

在vivo中，优化了芯片内部的数据存储架构和高速读写电路，实现了等效32MB的“片上缓存”，读写速度达到35.84Gbps，而主流旗舰台式机CPU的缓存目前只有16MB左右。

那么像V1这样的优化有什么效果呢？在夜拍中，可以应用去噪、插帧等需要大量计算能力的算法。在V1的帮助下，主芯片可以实现1080P 60帧夜间视频的降噪和插帧。

在V1的加持下，主芯片在弱光录制时可以低功耗运行4K 30FPS MEMC去噪和插帧，辅助和强化主芯片在夜间的影像效果，并借助主芯片ISP原有的降噪功能实现二次亮度和二次降噪。

值得一提的是，通过将软件算法转移到V1的专用硬件电路中，vivo可以在默认的照片和视频预览下开启复杂的计算成像功能。

在高速处理相同的计算成像算法时，与软件实现相比，V1专用算法硬件电路的功耗降低了50%。

这就是vivo所说的“硬件级算法”。

第二，蔡司镜头加持，良品率低于60%会死。vivo光学器件总监朱表示，去年vivo和蔡司达成了合作。从镜头、镜片到滤镜，vivo联合蔡司创新。

他提到，眩光、鬼影、边缘画质不佳等问题仍然是当今手机摄影的普遍痛点，而这些问题的解决需要光学器件性能的提升。

Vivo通过使用高规格玻璃镜片，弥补了传统塑料镜片的不足。朱特别提到了的性能指标“阿贝数”。vivo的玻璃镜片阿贝数达到了Vd 81.6，相比上一代设计减少了70%左右的视野色差。

得益于新型玻璃镜片的使用，镜片中心透射比达到95%，比传统镜片高出2%。

当然，玻璃镜片的使用面临很多挑战，比如工艺复杂，良品率低。据说这次活体玻璃镜片工艺步骤有11道，每100片只能选出60片好品。同时，vivo通过AOA工艺实现了镜头的动态调整。

为了解决眩光和鬼影等问题，vivo采用了SWC镀膜技术，将镜头表面的反射率降低到0.1%，而之前的数值为0.8%，降低了90%。其核心是在镜片表面制造“纳米颗粒”。

另外，通过ALD镀膜工艺在vivo的镜片上形成了0.4nm的均匀分布的光学膜，使得反射率的均匀性达到了0.25%左右。朱特别提到，这些工艺已经到了成熟量产的阶段。

为了解决“花瓣鬼影”问题，vivo通过颜料旋涂技术更好地实现了蔡司T*镀膜，可以提高红光的吸收率，从而改善眩光和鬼影问题。

去年vivo和蔡司建立了一个联合成像实验室，朱说蔡司的团队给了他们很大的帮助。

三。携手蔡司定义新的色彩标准和深度神经网络，为相机算法赋能。王兆丰继续介绍vivo在相机软件算法方面的突破。vivo通过三年打磨10款，形成了自己的一套成像色彩风格。

但专业创作者更倾向于还原人眼所见的本来面目。正因如此，vivo和蔡司共同创建了“蔡司自然色彩”色彩标准。

在vivo P3色域的基础上，选择140个色卡指定颜色标准，并与蔡司共同制定颜色标准。为了适应更细化的色彩标准，vivo在粗调中加入了色彩映射矩阵算法，将调试参数增加到384个。

通过这些调试，vivo将照片色调的准确率提高了15.5%左右。

此外，vivo选择了“复刻”蔡司Biotar镜头来提升人像拍摄的效果，但复刻需要解决很多问题，比如Z方向景深的模拟、XY方向像场的变化、镜头光斑的还原等。

其中，vivo通过深度卷积网络学习了28W人像分割照片和10W手势分割图片；此外，vivo建立了虚拟模型来实现3D-POP的虚拟效果。

在镜头光斑形状还原方面，vivo通过散焦滤波核生成技术更真实的模拟了不同镜头的光斑。

除了这些算法，vivo还在人像拍摄、延时摄影、10bit日志视频拍摄、超级夜景等方面进行了优化。

VivoRAWHDR3.0算法提升夜景拍摄样张的色彩表现，通过SuperRAW功能，实现14bit色深，最多支持10帧构图。

结论:在手机摄影领域，硬件和软件的结合更加深入。在开发ISP芯片V1、定制光学镜片、提升镜片加工工艺的同时，vivo还不断打磨算法，与蔡司合作培训。

可见算法的实现需要优秀硬件的辅助。随着图像数据的增多和图像质量的提高，算法的硬件性能要求也在“水涨船高”。自研ISP芯片无疑成为厂商新的突破口。

小米和vivo已经推出了自研的ISP芯片，OPPO自研的ISP芯片也在路上。如今在手机摄影领域，软硬件“两条腿走路”已经是大势所趋。未来，我们也期待厂商在芯片级创新上带来更多突破。