怎样让鲸鱼飞跃篮球场——深度揭秘Magic Leap背后的技术+战略

今年10月，硅谷AR（增强现实）公司Magic Leap发布了一系列“魔法带回现实”的概念视频：篮球场上鲸鱼一跃而起、外星人突袭办公室打真人CS……

今年10月，硅谷AR（增强现实）公司Magic Leap发布了一系列“魔法带回现实”的概念视频：篮球场上鲸鱼一跃而起、外星人突袭办公室打真人CS……虽然大部分视频并非实拍demo，而是特技duang duang的概念片，在各大微信号的无脑营销下，仍然短短几天就刷爆朋友圈。然而，很少有人真正看明白，Magic Leap究竟是如何实现这些“魔法”的。

虚拟现实的技术原理

抛开那些大脑植入芯片、黑客帝国style的科幻技术不谈，当前成熟的虚拟/增强现实技术原理分为两类：

1、把光线射进你的视网膜

让你在看到真实世界的同时，也看到虚拟世界的幻影。Google眼镜、微软Hololens都是这种原理。或者像Oculus一样，干脆用个头盔把眼睛遮住，让你看不见真实世界，只能沉浸在虚拟现实之中。不过，就算骗过眼睛，身体还是只能感受到真实世界而非虚拟世界中的加速度变化，这一点Oculus之流也无能为力。

微软Hololens概念片

2、还原真实物体发出的光线

让你无法区分看到的究竟是真实还是幻象。例如1956年发明的全息摄影（Holography）。然而，为什么60年后我们还在用iPhone指指戳戳，而不是用iHolo隔空取物呢？因为目前成熟的全息技术只能做到把3D影像投射到一个玻璃盒子里（通常是金字塔形或立方体），设备的大小必须大于影像的大小，色彩也不够逼真。这就是为什么至今全息还停留在珠宝展示和博物馆科普的层次上——有几个宅男买得起金字塔，放家里看黑白版全息女神爱情动作片？

全息珠宝展柜

Magic Leap属于以上哪一种技术原理呢？都不是。

Magic Leap的核心原理是四维光场

光场（Lightfield）的学术概念早在1939年就已提出，用于描述空间中任意点在任意时间的光线强度、方向、波长。当鲸鱼在我面前游过的一瞬间，它皮肤上每一个细胞向四面八方发出的光，叠加起来形成了一个光场。理论上， 只要完整记录下一条鲸鱼的光场，技术上就可以完全还原这条鲸鱼发出的所有光线。

假如有这样一个神奇的设备，它不仅可以记录光场，还能像投影仪一样，把光场信息还原成原始光线发射出来，那么当你的视网膜接收到这些光线时，就会认为看见了一条真正的鲸鱼。 把这个设备放在篮球场上，让它360度无死角全向发光，在篮球场上任何角度任何位置的人都会发现那里多了一条鲸鱼。甚至你近看远看，绕一圈看，也不会察觉到鲸鱼的肉身并不存在。因为，“看见”一条鲜嫩多汁的鲸鱼和看见这条鲸鱼发出的每一束光线，在光学上没有任何区别。这就是Magic Leap的物理原理。

为什么叫四维光场？

这里的四维是数学概念，和平行宇宙、高维空间没有半毛钱关系。描述一个光场需要7个维度：3个三维坐标表示空间中点的位置，2个极坐标表示这个点上通过的光的方向，1个波长表示光的颜色，还有1个是时间t。

其实，如果只考虑光场被投射到二维平面（例如视网膜）上的话，关键的维度只有4个：2个是平面上点的坐标，2个是入射光的方向。

光场的数学模型

怎样把鲸鱼装进口袋

从基础理论到做出产品，差距就是突破技术难点：怎样采集和还原光场？最经（yuan）典（shi）的方法是用相机阵列，通过在不同距离上镜头变焦，由近及远地把空间中每一束光线拍下来。比如下图的斯坦福相机阵列（Stanford Multi-Camera Array）：

斯坦福相机阵列

到了2011年，Lytro光场相机推出，把上面这个大家伙变成了手持式，虽然清晰度接近马赛克画风：

Lytro光场相机

Lytro已经把实验室里的庞然大物装进了口袋，而Magic Leap用了更聪明的方法，短短几年就把光场投影仪做成了高清无码可穿戴的AR设备。

输入实时生成，输出光纤投射

Magic Leap的办法分为两步：

1、不采集真实影像作为输入，而是用计算机实时生成视频。模拟生成的视频，可以直接用在增强现实领域，例如悬浮在半空中的操作系统UI、办公室里玩外星人枪战。如此一来就解决了片源问题，不需要等到好莱坞拍出光场版星球大战8，才能看上光场电影/电视。

2、不用传统的显示屏输出，而是用光纤投射光场。Magic Leap 拥有叫做“光纤投影仪”的专利技术，通过一根直径1毫米长9毫米的光纤投出几英寸彩色图像，已经可以做到4K超高清分辨率。

光纤投影

既然一根光纤可以发射一束光线，如果要把鲸鱼身上每一束光线都投射出来，就需要N个光纤组成一个光场投影仪：光纤阵列。

光纤阵列原理图

最妙的是，因为每一根光纤只有头发丝粗细，一个用光纤阵列制造的高清投影仪不仅可以轻松装进口袋，还可以戴在脑袋上！

既能AR眼镜，也可裸眼3D

说完了物理原理和技术实现，再谈一个消费者最关心的问题：Magic Leap到底比Google Glass、Hololens、Oculus、3D电视……好在哪里？

1、可大可小。Magic Leap的光场原理，决定了它既可以做成增强现实（AR）眼镜在办公室打真人CS，也可以做成全息投影仪放在篮球场让学生围成一圈看裸眼3D。既然“看见”的本质就是把一条鲸鱼的所有光线投射到你的视网膜上，那么无论是在你的智能眼镜上用光纤投射这些光，还是在3米外用光场电视投射，甚至在30米外用大型光场投影仪，都没有本质区别。

光场竟然可以融合视网膜和全息两大类虚拟现实技术，细思恐极!

3D裸眼全息

2、不会晕。无论是看3D电影还是头戴Oculus，虽然把不同光线分别投射到左右眼模拟出3D景深，却丢失了光线的方向信息。而4D光场记录了每一束光线的所有信息，包括位置和方向，使得看光场和看实物根本无法区分。

例如，看光场时，人眼向远处和近处看会自然对焦，看到的物体有虚实变化。但传统的双目虚拟显示技术（如Oculus Rift或Hololens) 中的物体是没有虚实的，使得大脑对于物体远近判断混乱，时间一长就晕。

换句话说，如果你看真实世界不会晕，看Magic Leap就不可能晕。

3、不怕强光。AR（增强现实）的老大难问题是：只能在真实世界的光影上叠加虚拟图像，在外界强光干扰下，虚拟世界就会暗淡无光。这就是为什么在Hololens等各式AR眼睛宣传视频中，片中人物“恰好”都是在昏暗场景中使用AR。

必须遮住现实中实物的光，在用虚拟3D图像替代它，才是不怕强光的完美AR。要做到替换实物，不仅要可以显示虚拟的光，还能显示“没有光”，比方说能在强光下显示一个纯黑的球。

例如，用一杯虚拟咖啡替换桌上真实的咖啡，首先要把来自真实杯子的光删除或屏蔽，然后再产生一组光让它们看起来是从杯子的位置发射出来的。否则，不论是用多么明亮的3D 增强实景显示技术，只看见一杯半透明的虚拟咖啡尴尬地覆盖在真实咖啡上。

Magic Leap能做到替换实物影像吗？从Magic Leap拥有的另一项专利来看，貌似真的可以：

Bibliographic data: WO2013077895 (A1) ― 2013-05-30

THREE DIMENSIONAL VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM

A system may comprise a selectively transparent projection device for projecting an image toward an eye of a viewer from a projection device position in space relative to the eye of the viewer, the projection device being capable of assuming a substantially transparent state when no image is projected; an occlusion mask device coupled to the projection device and configured to selectively block light traveling toward the eye from one or more positions opposite of the projection device from the eye of the viewer in an occluding pattern correlated with the image projected by the projection device; and a zone plate diffraction patterning device interposed between the eye of the viewer and the projection device and configured to cause light from the projection device to pass through a diffraction pattern having a selectable geometry as it travels to the eye.

Magic Leap背后的战略布局

Magic Leap是个神秘兮兮的公司。都融了5亿美元的B轮了，CEO从不露脸，产品长什么样没人见过，让中国人民对着几个加特技的宣传片羡慕嫉妒恨。不过，从他们的公司行为来分析，还是能看出大部分端倪。

1、Magic Leap的第一个产品将是头戴式眼镜

前面说过，光场投影的原理，使得AR眼镜和裸眼3D产品都可以做。为什么说Magic Leap一定会先做可穿戴？

技术上看，Magic Leap公司成立时，创始人Abovitz做光纤机器人医疗起家，又报了好几个光纤方面的专利，做穿戴之心路人皆知。而用于放裸眼3D的大型光场投影仪，很可能技术和成本控制尚未成熟。

商业上看，有了谷歌眼镜和微软全息当先烈教育市场，消费者对于AR的接受程度已经不断提高，而大型光场投影仪一般人可消费不起，也不够实用。

2、Magic Leap会发力跟踪/识别和体感控制

如果Magic Leap真的做成了可大可小、不会晕、不怕强光的AR，将会是世界上体验最好的AR，没有之一。一旦把用户的眼睛变成入口，接下来可以玩的就多了去了。例如：

手势识别：AR没有屏幕可以戳戳戳，手势是最主流的交互UI，甚至还可以加入脑波控制；

物体追踪：感知真实世界中人和物的精确位置，才能让你在一边走动的同时，把你眼中的一杯虚拟咖啡一动不动地安在真实的饭桌上；

三维扫描：将现实中的一杯咖啡拍成光场，分享给别的用户，他的眼前就会出现和你手中完全相同的一杯咖啡；

人脸/人体识别：识别现实场景中的人，可以在每个人头上显示名字、电话和颜值；

情感识别：既然都能够识别人脸了，不如顺便识别下表情吧！是哭还是笑，眼镜全知道。

Hololens手势控制

3、买不到现成芯片，Magic Leap要自己动手

除了实时计算四维光场、投射高清视频外，实现以上所说的各种黑科技，还要考虑电池续航能力、用户脑袋是否会过热，这么强大的芯片地球上并不存在。不过B轮融资后，有了高通当股东撑腰，给了Magic Leap足够的胆量自己发明轮子。

Magic Leap在去年搬入南佛罗里达州一个废弃的摩托罗拉生产区，计划建造2.8万平方米的工厂，用来生产光子光场芯片(Photonic Lightfield Chip)。

4、Magic Leap充其量是台前卒子，Google才是幕后大BOSS

Google投了5亿美元，让Magic Leap不用顾忌市场和资本，在全封闭状态下专心做底层技术；带来高通作为战略投资者，协助自主研发芯片；还让二号人物、核心产品负责人Sundar Pichai 加盟董事会；毫无疑问，将来Magic Leap产品开卖，摇旗呐喊的也一定是Google。

给钱、给人、给技术、给市场，Google凭什么无缘无故把一个初创公司当亲儿子？做砸了Glass还要投Magic Leap，Google为什么偏偏对AR不死心？如果你相信纯粹是为了赚钱，就太小看Google的智商了。

从前Google的搜索引擎，教会了人工智能听说读写（自然语言识别）；而AR将成为人工智能的眼睛和耳朵，教会它用人类的视角观察物理世界。当AI超越人脑的技术奇点不期而至时，人工智能只需要硬件组成的手脚和身体，就能改变世界/取代人类了。

谁拥有最强的人工智能，谁就将统治地球——这就是Google从未掩饰的野心。

人工智能终将统治地球？

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！