ARKit

ARKitARkit是什么? 苹果为什么发布ARkit?

1.概述

ARkit应用平台是苹果的首个 AR 产品。iOS 11引入了ARKit应用平台,这是一个新框架,可让您轻松创建无与伦比的iPhone和iPad增强现实体验。

通过将数字对象和信息与您周围的环境融合,ARKit将应用程序超越屏幕,释放它们以全新的方式与现实世界进行交互。ARkit 把 iPhone 相机、动作传感器以及图形处理器等硬件特性与深度感应、人造光渲染等精密算法结合在了一起。可以让开发者们将更多 AR 应用代入到 iOS 设备。


2.优势

第一,快速稳定的运动定位,这个是最基本的AR功能,从演示中可以发现整个定位非常稳定且准确,说明精度很不错,桌面的特征并不算丰富,说明鲁棒性很好,最后渲染的Demo模型很复杂,但是感觉很流畅,说明实时性和算法能耗都深度优化过。从发布会的整个演示来看,ARkit的水准应该是业内顶级的。

第二,平面和边界的估计,平面估计在单目SLAM上并不稀奇,只是从演示中很难判断是基于三维点云拟合还是IMU数据,初始化的方式看起来更像是基于IMU的。边界估计这个之前不常见,演示中唯一可以看出来的是那个虚拟小人掉到桌子外,说明ARkit可能不是像snapchat那样简单的VIO类算法,(从放出来的文档看就是VIO...)点云构建的部分是有一定输出的。

第三,光照估计,这个不好说,单目做光照估计的需求很可能和算法本身的架构有关,以什么形式输出不看到接口很难判断,大部分的AR应用是不需要这类数据的,除非是要基于实际光照做高还原的真实渲染。

第四,尺度估计,这个就非常厉害了,做单目SLAM的同学都有了解,单目是无法解决尺度问题的,虽然视频里没有展示,但是如果真的解决了尺度问题,说明苹果在IMU和视觉融合方面做了非常先进的工作,而且工程化的非常好,很期待这个功能的实际体验。

第五,对各个开发平台或引擎的支持,这点说明苹果做AR绝对是“蓄谋已久”的,并且野心很大,不给其他对手留余地,一上来就要建立一个完整且广泛的AR内容开发生态。

总体来说,ARkit基本实现了单目+IMU的SLAM算法可以提供的大部分功能,并且质量很高,我相信苹果是严格检查过机型覆盖率,实时性和能耗的,那么毫无疑问,凭借广泛的硬件覆盖率,iOS会成为最有活力的AR内容发布平台,PMGO的体验肯定有质的飞跃,一大波真AR游戏应用将会到来。[1]


3.不足

第一个不足是三维重建的能力,无论从文字解释还是Demo演示来看,目前的ARkit仅仅支持平面的“重建”。

这里姑且先算做重建,因为是否支持垂直面,任意角度的平面,甚至多个平面目前都还不确定(从目前发出来的文档看只支持水平面,说明平面的拟合可能是依赖于IMU的,仅用部分点云判断深度信息)。就算ARkit包含完整的平面重建能力,对于AR应用来说依然还是不足够的。

增强现实最基础的要求是对现实世界的理解,比如几何体的重建,这方面缺失带来的问题就是无法和真实世界的物体发生合理的物理碰撞,比如演示中看到一个虚拟小人掉下桌子,我们是看不到这个小人掉落到地面的效果的。另外就是虚实遮挡,假设桌面上有一个水杯,那么如果无法重建水杯的Mesh,我们就看不到水杯遮挡住虚拟模型的效果,而会看到虚拟模型“叠加”在水杯之上,这个会比较影响整个AR的体验。当然我相信以苹果的实力,想做重建并不是没有办法可想。

这里我有两个猜测,一个可能是三维重建的流程,交互和接口苹果还在优化中,目前AR基本的功能接口已经足够发布了,苹果想慢慢来。另一个可能是苹果想依托于硬件来解决三维重建的问题,众所周知单目做实时三维重建是非常有难度的,而基于双目或深度摄像头则可以相对简单的解决这个问题,顺便苹果还可以展现9月份即将发布的iPhone8的“特殊”,两全其美。

第二个不足,就是识别的能力,目前AR最火爆的应用场景其实不是游戏而是线下营销,而线下AR营销非常依托于识别算法和定位算法的对接。

苹果可以在移动端单目设备上做出这样成熟的SLAM算法,单纯的识别和定位应该都不是问题,难点可能在于定位算法如何跟识别算法对接,如果依赖于端上的识别算法,那么按照现有的苹果更新审核机制,AR内容的更新会非常麻烦,苹果可能需要提供专门的编辑器;但是如果基于云端识别,则苹果的用户群体过于庞大,到时候云识别的QPS会很惊人,是否苹果还没有准备好接受这样的考验?

此外,服务于AR的单目SLAM可以说是目前业界没有很好解决的一个课题,所以苹果在这方面做出了很大的推进。而如果我们限定于二维图像的识别和跟踪,则有非常多成熟的SDK可以使用,就连Hololens也可以兼容使用Vuforia,也许苹果并不准备自己承担这和识别算法对接的需求。


4.演示视频


5.参考资料

1.苹果终于在AR发力了!如何评价苹果 最新发布的 ARKit? 99VR视界[2017-06-06]

2.苹果拥抱AR/VR 全球最大AR平台诞生 99VR视界[2017-06-06]

3.想知道苹果AR有多6?老司机亲手演示给你看 99VR视界[2017-06-06]

99VR视界二维码

相关文章

    404 Not Found

    404 Not Found


    nginx
在线客服