厉害了!iPhone X “刘海”里的黑科技,将颠覆自拍P图和AR相机

2017-09-13 23:55 VR/AR 来源:创头条 查看原文

苹果今天发布的 iPhone X,即将给自拍美颜界带来颠覆性的改变。

如今,很少有人会贴自拍原图出来,最少都要加个滤镜,更多则是要动用修图软件,磨皮、瘦脸、调光线,还有各种 AR 玩法。所以我们看到的自拍照,轻则磨皮美白,重则各种贵妃妆、烟熏妆、老年人特效。

很多人觉得这已经很好玩了,但是等他们用上 iPhone X 后,想法很可能会改变。下面是今天苹果发布会上,新品体验区一位用户在玩一项新的 AR 自拍功能——天天 P 图开发的京剧脸谱。

在 iPhone X 的屏幕上可以看到,用户的脸戴上了虚拟的脸谱。但和上面的萌宠 AR 效果简单地把一些元素添加到用户头像上(两个耳朵的位置明显有些歪)不同,iPhone X 上脸谱和人脸实现了立体的融合,而且贴合很好,追踪也相当迅速,以至于用户眨眼的瞬间脸谱都可以实时地进行反应,见视频中第 2 秒开始处。

除此之外,镜头晃动和突然的遮挡对于对于追踪的影响非常小,用户用手一挥,脸谱换了一张,但仍然移稳稳地停留在用户脸上,没有错位,这是目前手机上 AR 自拍效果所根本不能比的。

这种程度的 AR 效果是如何实现的?


核心在于 iPhone X 的“刘海”部分(就是前置摄像头、听筒等部件所在的地方),苹果对这里进行了一次大变革,塞进很多用户之前没听过的一些传感器。


在这个被很多人诟病的小“刘海”上,苹果塞进了 8 颗传感器,除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分,还集成了红外镜头、泛光感应元件(Flood illuminator)、点阵投影器。

厉害了!iPhone X “刘海”里的黑科技,将颠覆自拍P图和AR相机

苹果将整个系统称之为真深度摄像头系统(TrueDepth Camera System),而整个系统除了能用于 Face ID 人脸验证,也可以扩展自拍功能,实现动画表情发布,和 AR 效果叠加。

具体而言,上述的感应器会投射人眼看不见的光,并读取用户的脸部 3D 几何结构图,而这一切都是实时发生的。苹果甚至为此开发了一个神经引擎(Neural Engine),可即时处理人脸识别数据。苹果高级副总裁 Phil Schiller 在发布会上解释称,“我们用神经网络处理图像和点阵模式,来建立人脸数学模型。”

厉害了!iPhone X “刘海”里的黑科技,将颠覆自拍P图和AR相机

现场特别演示了脸部追踪技术,可用于 Animoji。通过实时追踪用户面部非常细微的表情动作,将其放入各种动物形象表情中,记录下的表情和语音可以信息的形式发送给朋友。

现场还演示了AR 相机效果,和前面京剧脸谱玩法一样,用户将虚拟巴西国旗贴到脸上,看起来就像是真的画上去一样,逼真度远超之前的 AR 相机。

厉害了!iPhone X “刘海”里的黑科技,将颠覆自拍P图和AR相机

上图为现场演示的 AR 相机功能,下图为传统的 AR 相机。差距显而易见,上图在质感、真实度方面远超下图。

厉害了!iPhone X “刘海”里的黑科技,将颠覆自拍P图和AR相机

开发京剧脸谱的天天P图对雷锋网(公众号:雷锋网)表示:“通过基于FaceKit、 SceneKit以及Metal 2等软件架构进行开发,我们可以通过iPhone X的前置摄像头为用户带来AR自拍。天天P图的用户现在可以获得更接近现实的面谱和3D装饰效果,得到更真实的AR自拍体验。”

实现这种程度的AR效果,需要软件和硬件的深度结合。

未来:AR 画妆以假乱真,人工智能看懂你的表情

目前 AR 相机玩法非常多,特别是在 P 图软件 、直播应用等方面,而即便在效果质量一般的情况下,还是广受欢迎。

随着 iPhone X 的到来,这类应用的体验将实现飞跃。上图中的第三个画面,这位女生用 AR 相机给自己的脸部进行修饰,外人可以很明显地分辨出这是 AR 效果做的;但在 iPhone X 上,配合优秀的软件,我们将可以做到以假乱真的效果,因为 iPhone X 的“刘海”精确记录了用户人脸的三维图像信息,因而当 P 图软件在给人脸 P 图时,是可以精确到脸上的某一个点的。

另一方面,这种对人脸的精确追踪,还将在表情追踪方面实现大跃进。以前,软件可以根据你的二维肖像图知道用户的一些基本表情,比如喜、怒、哀、乐。到了 iPhone X 上,对用户表情的追踪将达到消费设备上从未有过的水平,用户的一颦一动手机都将感知得到。未来,一个聊天机器人通过手机前置摄像头看着你和你对话时,它将能够根据你的细微表情作出不同的回应。

以上仅是两个几乎肯定将会到来的应用案例,iPhone X 的这个刘海,配合苹果优秀的软件以及芯片,所能带来的可能性将是无限的,Face ID 和 Animoji 仅仅只是个开始,未来也许又有现象级的应用会诞生。

而率先这场创意盛宴当中的,正是天天P图这类相机应用。iPhone X 将在 11 月正式上市,让我们一起期待吧。

为您推荐: