ARM：让Mali带来更极致的移动VR体验

占据安卓智能手机GPU市场近90%份额的ARM，要不断优化他们的Mali，给用户带来最佳的VR体验。

上周五（2016年9月2日），在南京睿悦承办的“N+虚拟现实高峰论坛”上，ARM生态关系开发者经理李陈鲁发表了主题为“Enabling Mobile Virtual Reality with ARM Mali（用ARM的Mali来去驱动移动VR）”的演讲，向大家介绍了ARM的主要产品线Mali GPU，以及Mali为移动VR做了哪些优化。

首先李陈鲁分析了ARM的GPU在现阶段手机市场的份额，然后相应的强调了他们的主要目标是移动VR市场。

谈及现在的移动VR的内容，ARM认为在现有技术的限制下，娱乐视频内容比游戏体验的发挥空间更大。不过他们的Mail GPU正在为更好的支持VR游戏做一些后台工作。

ARM还从视差问题、图像渲染以及分辨率上阐述了VR体验中会产生眩晕感的原因，并且提出一个流畅的VR体验需要满足的最低标准：延时低于16ms、刷新率大于60hz，屏幕分辨率大于2K。

最后李陈鲁提到了谷歌的Daydream平台，ARM希望和业内的合作伙伴一起推动移动VR的标准化。

以下是李陈鲁演讲的实录：

各位来宾各位合作伙伴以及各位友商大家下午好，非常荣幸今天在这里与各位各位专家一起分享ARM在VR领域取得的小小成就，并且对未来做一个美好展望。

在座各位都是行业内专家，对ARM应该比较熟悉，就不多介绍。我们也和前面Imagination一样是来自英国做IP芯片授权公司。我们的主要业务不只是集中在GPU，它还包括CPU、手机、平板电脑等智能移动设备上很多关键东西。但是和英特尔不一样，我们并没有那样去推动摩尔定律，今天ARM所取得的成就都是生态圈里面的各位合作伙伴一起努力才能够达到的。

我在ARM做的什么呢，当然不是打酱油的，主要是照看中国地区的生态系统，包括开发者关系，线上线下的一些活动，同时与战略合作伙伴能够做一些深入的合作。比如联合实验室，在今年晚些时候会找一个合适的机会给大家介绍一些干货，具体取得的一些成果。

今天有20分钟左右，长话短说，今天会花一定的篇幅介绍一下ARM的产品线，内容很多，希望大家记住两个词就够了，一个是“量”，第二个“有料”。

Mali字面来看其实是一个地名，但实际上在这里指ARM的一条关键产品线，后面会讲一些关于VR的技术概念，希望大家把这个与我们产品联系在一起。

然后VR有那些挑战？任何好的产品之所以能够被大家喜爱，是因为能够解决你的痛点。在VR未来得发展，有哪些可能的痛点，有什么解决手段，最后给大家做一个总结性概括，包括ARM给大家提供什么服务，你可能会有问题。如果不是做芯片公司，我和ARM之间有什么交集？后面会有答案。

关于ARM 取得的一点成就

首先大家看一下这个图表，Mali是多媒体处理器产品线，最关键一点就是GPU和图形渲染处理单元。经过多年努力，大家看到这个从2011年开始，那个时候我们还是非常小的数字，小于50，对半导体行业来说是起步阶段。经过5、6年发展，我们现在可以很骄傲的宣称ARM的GPU已经占安卓市场的第一位，数字电视占75%的规模，平板电脑基本是50%，智能手机40%。大家可能很熟悉，智能手机里面第一品牌是苹果，苹果是用友商Imagination的GPU。把这一块去掉，ARM在安卓份额里面基本可以很接近达到90%。2015年的时候，65家新的客户进入我们的生态圈。刚才介绍了GPU，GPU是第一大块，只有GPU其实并不是非常完备的。

因为我们每个人都有智能手机，你可能会花很多时间去上网，去玩APP玩游戏。但事实上我们统计下来，相当大一块用户时间是用来观看视频，各种形式的视频。

那么如何让大家既能更好的体验安卓系统的UI特性，同时又能够长时间的观看一段高清视频，ARM最后决定进一步在Mali GPU基础上拓展。这样我们具备了整个多媒体图形处理流水线每个模块的技术。最后会推出基于Mali多媒体解决方案，包括三个组成部分，目前已经有一些客户正在生产基于这个多媒体方案的真正芯片，不久的将来会问世，会有一些独到的地方。

移动VR是我们的主场

刚才说了一下我们的现有产品线以及现有的生意模式，但是和VR之间有什么交集呢？关注业界动态的朋友肯定记忆犹新。在Facebook大会的时候，在座的嘉宾并不是看着扎克伯格，而是每个人戴着Gear VR。这个VR设备是一个小盒子，插了三星S6智能手机。同时这款设备有一个第二代产品，这是VR产品的一种形式，也是ARM相对来说影响力比较大的领域。

VR玩家肯定很熟悉外国一些优秀的产品（PC VR），他和移动VR之间区别在于后面带了一根线，这个线给他提供非常强大的计算能力,同时也是一个累赘。可以想像一下如果现在我很自由的在讲台上给大家做交流，后面绑了根线是很尴尬的局面。另一方面这个线往往也代表着占据额外的空间，所以如果是在差旅过程中，比如在飞机上面肯定不会搬出PC接上线玩VR游戏，如果有移动VR设备就可以很好的解决这些问题。

这边有一个图表，来自英国第三方独立的一家咨询公司，它做了一个未来的预判，我们希望他能够成真。简单来说，2018年的时候整个VR硬件生态里面能够产生5680万美元，针对各个年龄层次各种不同的用户会有专门产品细分，加在一起提供一个非常多的选择。

优化VR视频图像渲染

从软件使用率来说，怎么划分呢？目前看起来中低端VR设备基本上是视频游戏对半分，你有一半时间用来玩游戏，一半是看视频。低端设备就比例更悬殊，甚至花90%的时间看视频，包括普通视频。其实也包括一些现在正在崛起为VR设计的特殊视频，这一点将来还是有很大的发展空间。我们现在有些光场技术，慢慢成熟以后在VR里面可以做的事情就更多，看到非常逼真的图像变化，希望这一点能够早日成真。

Mali GPU为了更好支持VR游戏做了哪些后台工作？

另外一方面关于游戏，目前看起来游戏还是VR里面非常热的，而且对于中高端VR设备来说是非常关键的驱动力，在这一块我们会讲Mali GPU为了更好支持VR游戏做了哪些后台工作？

这是我们传统的渲染管线，首先还是会得到输入输出，然后重新计算场景，之后把他做渲染，说起来很简单，其实要细分有很多很多步骤。

到了VR有什么变化，其实就是多了一个视角，多了一个眼睛。这里面可能很多人会反应过来，联想到俗语“事倍功半”，如果你不做任何处理可能会掉进这个陷阱当中，看起来很流畅的场景变的非常卡。也许是无意中晃脑袋，就会发现这个场景跟我脑中计算的出现的情况不太一样，会感觉到晕，这是最大的问题，所有人都在花很多精力攻克的难关。

为什么会晕？除了场景渲染两遍之外，其实还有很多其他的一些因素。因为现在对VR设备投影方式基本上就是那几种，最为广泛流行的是通过光学镜片，把图像重新变换投到视网膜上。还有更先进更高端的用激光的方式投到视网膜上，这个设备成本还是比较高昂。

使用透镜系统的时候，最大的特点是会产生光学的折射，所以如果不经任何处理，看到这个世界会是一个扭曲的世界。所以我们需要做很多工作，保证你能够看到一个真实还原，并且非常流畅的图像。

目前为止大体解决方案基本会在图像被渲染呈现在你双目之前做一个后处理，后处理其实对于非VR的应用场景也是非常常见，比如一些雾化效果。在VR里面不管要不要这些效果，都必须要把这个光学变换的算法加进去，否则大家不能接受，至于这个算法怎么实现，未来会有不同的解决方案，思路是一致的。

什么是一个流畅VR体验呢？

这些数字是我们目前认为比较基础的要求，小于16ms的延时，大于60Hz刷新率，大于2K的分辨率。VR中有透镜的存在，透镜有放大的效果，所以你可以想像一下，贴近人的脸去看，可能就看到很多放大的细节。这个细节放大出来以后，一个2K的屏真正呈现在你眼中，实际效果低很多，再低的话可能大家就不太舒服了。2K以上4K、8K当然越高越好。

不过分辨率高的屏幕对移动VR还是有限制，大家可以了解，一方面首先是高端的供货比较紧张，第二，如果是可插拔设备，手机屏幕随着分辨率提高，耗电是非常厉害的。这样对于在不使用VR场景之后怎么保持电池寿命是非常挑战的。大于60Hz刷新率还是比较大的问题，60Hz已经可以成为一个行业标准，哪怕提到75Hz，那就是相当大的一步。

16ms延时跟前面两个指标（刷新率和分辨率）是有关的，我们整个VR渲染过程不仅仅渲染，还要采集输入输出数据，等等这样一些工作加在一起，加上本身的扫描，他实际是一个很长的过程。我们把渲染本身尽可能压缩，把整个过程缩短。

Mali为VR计算量的传输降低带宽成本

整个VR有很多阶段，ARM来说也没有办法解决所有问题，需要和大家一起合作，做更好、更快、更省电的GPU和CPU。如果你使用了Mali GPU和CPU以及Video，它们之间会有内部压缩算法，同样效果之下节省很多带宽，省很多电，同时性能会有更好的表现。

除了刚才说做最好的硬件，我们还有很多其他的事情可以做，特别是对于ARM企业来说。对于整个生态，这个生态不仅仅是硬件的合作伙伴，也包括在这个生态圈里面很多做软件的开发者，提供内容的甚至拍视频的人，要在一起尽可能的把整个用户体验提升到新的等级上面。

为了达到这一点，ARM其实做了很多专有技术，针对Video这一块，如果采用Mali GPU加上Video，可以避免一些不需要或者不必要数据传输，这样至少带来一倍以上的带宽节省。理想的状况是把一系列的Mali技术放在一起使用，那么数据所在每一个阶段都会是最优处理，整体上是既省电又快速。

和谷歌Daydream合作，共同推动建立移动VR行业标准

最后讲一下Daydream，其实它和我们还有一点点小小的距离，Daydream是未来针对高端的移动VR的解决方案，这样的产品至少要等好几个月的时间。谷歌从最上游推广，能够起到非常大的作用，不至于每个厂商自己去做自己的实现方案，有很大的碎片。

大家应该知道Daydream是针对安卓7.0以及以后的系统，如果现在没有办法这么快拿到最新系统，或者说要求非常高导致成本也非常高，我只能使用现有的硬件和软件实来做VR解决方案。

本土的一些非常优秀的公司，给大家提供另外一种解决的思路，类似于你不需要Daydream也一样可以做梦，有了之后对我们很多重要合作伙伴是非常好的事情，代表整个移动VR有了一个统一行业标准，万众一心往一个方向努力。同时对我们未来先进的硬件发展有一个很好的促进作用，预计在不久的将来几个月以后或者是明年这些高端的针对VR软硬件会有爆发式增长。

后面就是软件方面，提供专门的扩展，不进行细节讨论，简单来说一个是保证双眼渲染尽可能复用，给大家多个视角观察场景的扩展。

简单来说左右可以同时处理，大家可能了解到我们人眼观察事物的时候最中间的看的最清楚，周围比较模糊，怎样在VR渲染的时候对不太重要的区域能够少花一点资源，其实可以叠加在一起的方式来做，我们在移动上面实现的手段不完全一样，最后取得效果差不多。

如果有机会大家可以到我们的网站上面下载SDK，同时如果你有任何的问题，可以跟我们邮件联系。大家可能都了解，在VR无当中为了处理头部快速晃动产生的晕眩，有时候需要插一些帧进来，提前做好渲染，防备你突然看向另外一个方向。通过这样“欺骗式”的手段，能够获得一个比实际性能看起来更加流畅的感受。

我们有一个完整的VRSDK，如果你有兴趣从头做起或者深入做一些定制化优化，可以把这个SDK下载下来，是完全免费的，了解一下如何在基于Mali让硬件更好的发挥潜能。

关于下一代VR的标准

我们看一下未来，这是我们最新的GPU Bifrost，我们为什么会开发这样一款GPU，因为要让移动VR达到120hz的刷新率，4K分辨率，4毫秒的延时。VR环境里面所有东西被放大，所以打开反锯齿变的非常重要，移动渲染架构上面反锯齿是比较低的，也就是说大家可以放心大胆使用，并不用担心很大的性能下降。这一方面准备更进一步的一些教程，同时希望能够找机会和开发者做深入交流。

我的演讲基本到这里，非常感谢。

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！