不知道大家有没有发现,我们手机后面的摄像头越来越多,像素更高,日常拍摄效果也越来越好。比如超广角镜头、微距镜头等手机摄像头的增加,不仅可以让我们打出更多的拍摄场景,双主摄像头的组合也确实可以提升成像质量。
但是,为什么我们在夜间拍摄或视频时还是觉得手机成像不够,还是不用单反等专业机器拍摄比较好?当然,这和摄影师的拍摄技巧有很大关系。但排除这些元素,手机如何升级才能拍出晚安和视频场景?
面对复杂的场景,手机如何提高拍摄质量?
我们都知道硬件是手机成像的基础,手机成像的硬件配置决定了我们手机成像质量的上限。关键的手机图像硬件由镜头系统、图像传感器和图像信号处理器三部分组成。
手机的成像过程大致可以描述为:当我们举起手机拍照时,拍摄的场景首先通过镜头,将产生的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再通过模数转换成数字信号。数字信号经过ISP处理,然后送到手机处理器进行处理,最后转换成手机屏幕上可以看到的图像。
在拆解过程中,我们发现影响手机成像最关键的三个硬件部件是镜头、图像传感器和ISP(图像信号处理器)。
摄影是利用光线的艺术。因此,负责将光学图像转换成电信号的图像传感器尤为重要。所以摄影师圈里流传着一个不变的真理“一流害死人”。这里的“底”指的是传感器,大底是指传感器尺寸大。传感器面积越大,可以处理的光信号越多;光线越强,能呈现的内容越多,成像效果就越好。
除了传感器的大小,影响成像最关键的因素是像素。我们看到的每一幅图像都是由“色点”组成的,每个色点称为一个像素。一张图片由50万个色点组成,所以这张图片的像素是50万。毫无疑问,在同等条件下,像素越高,画面清晰度越高,成像效果越好。但是像我们现在增长到一亿像素甚至过一段时间两亿像素就出来了,其实一亿像素和两亿像素的成像差距不是很大,至少没有一百万像素到一千万像素的提升那么明显。
但是由于手机尺寸的限制,传感器尺寸和像素不可能无限发展,而另一方面,像素这个东西越发展到后期,其实对我们日常拍摄的提升就越少。所以,要想进一步显著提升手机拍摄的成像质量,还得另辟蹊径。
于是,摄像头和ISP进入了手机厂商的视野。Vivo是目前把这两方面的硬件质量都提到行业顶尖水平的手机厂商。
vivo为什么要自己开发ISP芯片?
9月9日,vivo X70系列正式发布。这次vivo带来了成像硬件的两大突破:自主研发的V1芯片和vivo蔡司联合成像实验室带来的光学镜头突破。很多人说,为什么vivo不直接造SoC芯片,而是造一个不太有前途的ISP芯片?今天,我们就来聊聊。
如上所述,ISP是手机镜像的三大关键硬件。此次vivo自主研发ISP芯片V1,其在图像上不断攀升的决心不可谓不大。不过在说这个ISP芯片对图像的作用之前,我们得先看看vivo的第一个芯片V1有什么意义?
被卡在芯片的脖子里一直是国产手机的痛。无论是反思前辈卡脖子后华为芯片市场份额的快速下滑,还是考虑自身的长远发展,手机厂商都有理由在造芯上放手一搏。
然而,制芯并不是“请客吃饭”。一部片子失败就亏几千万,一不小心就破产了。所以相对于SoC的复杂芯片,ISP的功能相对纯粹,制造难度也比SoC芯片简单,这也是vivo选择打造ISP芯片的关键原因。
对于手机厂商来说,制造ISP芯片是现实的选择。由易到难,打造ISP芯片,以后多积累经验,再慢慢想明白。而且相比SoC的其他部分,ISP芯片更容易被用户感知。很好理解,ISP负责拍摄过程中成像的处理。效果好的话会直接显示在拍摄效果里,直接显示在朋友圈用户发的赞数里。
图像功能是消费者关注的焦点。vivo无论是想给消费者带来优秀的影像体验,还是想打赢影像战,单靠像素的积累和相机的节省肯定是不行的,所以ISP成为了实现差异化的关键之一。而且vivo手机出货量巨大,如果自研芯片成功,最终可以转化为整机的成本优势。
不过相比这些,目前我最关心的还是vivo X70系列上ISP带来的图像增强效果。
ISP最大的特点就是可编程性,通过不同方式调试后的新算法会和集成的原算法拉开差距。目前市面上大部分手机使用的都是带SoC芯片的集成ISP,很少有像vivo这样的独立ISP芯片。所以,就这一颗独立芯片,就已经在成像上拉开了和其他手机的差距。
更不用说,vivo过去也有过定制芯片的经验。vivo X1和XPlay上定制的Hi-Fi芯片,vivo X9 Plus上的DSP图像芯片都带来了不错的效果。
V1芯片最大的特点是带来了图像计算能力的跨越式升级。
前面提到,手机像素越来越大,摄像头数量越来越多,导致SoC中集成的ISP芯片需要同时处理的数据量越来越大。然而,手机制造商旗舰机只能依靠高通和联发科每年发布的一两个芯片来解决这个问题。
一方面,高端旗舰做不出差异化的影像功能;另一方面,即使配备了更多的镜头和更高的像素,集成ISP提供的计算能力也无法支撑如此大的计算量。尤其是在短视频和Vlog越来越流行的今天,视频流对ISP的最大挑战除了对图像质量的要求,就是实时性。要实时处理4K甚至8K视频的海量数据,呈现完美的图像效果,处理器的性能是一大瓶颈。
所以这次Vivv1芯片通过自研视频芯片配合主芯片软件算法,实现软硬件结合,提升用户的视频体验。
V1芯片这次最大的作用是计算能力的指数级增长。在主芯片ISP强大成像能力的基础上,叠加V1的计算成像算法,获得1+1 >: 2的成像效果,既能像我们日常的CPU一样高速处理复杂运算,又能像GPU、DSP一样完成数据并行处理。
可以说,V1就是专门为这种实时高负载而设计的,所以天生具有高计算能力和低延迟的特点。为了最大化同期处理能力,vivo创新性地优化了芯片内部的数据存储架构和高速读写电路,实现了32MB的等效大缓存,可以存储在整个芯片上。它超越了目前16MB到24MB的旗舰台式电脑处理器,读写速度高达35.84Gbps
然而,让V1脱颖而出的是,它不仅可以实现高性能,还具有低功耗的特点,可以说具有很高的能效比。与软件实现相比,V1专用算法硬件电路的功耗降低了50%。可以说是“能力更强,但功耗更低”。
写在最后
vivo作为国产智能手机的四大巨头之一,加入核心无疑会对中国半导体行业产生巨大的影响。Vivo巨大的智能手机出货量将刺激半导体相关产业的需求,并进一步帮助提高中国半导体产业的水平。
此次,vivo V1芯片首次搭载在X70系列上,vivo蔡司联合影像实验室带来的光学镜头,让vivo在影像两大硬件光学镜头和ISP上开创了行业新局面,让影像的发展上升到了一个新的高度。