OPPO XR技术负责人 徐毅：AR体验做得更好需要发展感知能力和交互能力

AR眼镜这种形态是未来能够真正连接物理世界与数字世界的新型交互方式。

2021年12月10日，由广东省游戏产业协会、广东省虚拟现实产业技术创新联盟、深圳市科学技术协会、深圳市互联网文化市场协会指导，陀螺科技主办，深圳市科技开发交流中心、恒悦创客魔方协办，行业头部媒体游戏陀螺、VR陀螺、陀螺电竞、陀螺财经、陀螺传媒联合主办的2021未来商业生态链接大会暨第六届金陀螺奖颁奖典礼（简称“FBEC2021”）在深圳大中华喜来登酒店6楼宴会厅盛大开幕！

在中国力量·2021 5G XR产业峰会现场，OPPOXR技术负责人 徐毅：以“数字世界与物理世界的融合”为主题发表了演讲。

以下为演讲实录：

过去几年，数字信息呈现出爆炸式增长的状态，数字世界正在形成。根据一些外部的统计资料预测，未来每个智能手机的月平均流量将增长到25G，人均有5个以上的智能终端，这样的情况下，物理世界与虚拟世界的信息交换会怎么样改变呢？

我们认为AR眼镜这种形态是未来能够真正连接物理世界与数字世界的新型交互方式，AR眼镜在计算机视觉和人工智能的加持下，未来能帮助大家快速便捷地与数字世界的三维信息和三维场景进行交互。

例如，现在走在街上看到一家餐厅，通常是掏出手机，把餐厅的名字输入到APP，看关于它的一些评价，整个交互的链路是比较长的。未来在AR眼镜的场景下，有了基础设施的支持以后，我们可以在AR眼镜里一下子就看到这个餐厅相关的信息，这些信息以3D的形式快速的推送到用户的眼前，用户可以通过简单的AR交互方式快速下单，帮助我们更加快速方便地与真实世界的三维信息进行交互。

讲完愿景，我们也看到，技术仍然是目前AR行业发展的瓶颈之一。在光学显示上，我们需要FOV更大，显示的效果更好；在感知方面，感知的范围需要更大，能够扩展到整个世界，它的能力和精度需要更好；硬件上，重量需要更轻，功耗更小，性能更强；在交互方面需要发展出来更加高效、自然的交互方式，例如脑机接口。

只有当这些技术逐步提升以后，我们才能达到理想中用户与数字世界交互的场景。目前在垂直领域的一些场景也可以帮助我们去牵引这些技术的发展。

除了关键的技术之外，我们也发现一些整个XR行业所面临的问题，其中主要几个：

首先，场景是什么？

第二，产品的形态又是怎么样的？

第三，怎么样去孵化内容？

第四，如何去保障这些内容的体验。

我们没有完整的答案，但有一些思考想跟大家分享一下。

首先是场景。过去这段时间，场景是在逐渐迁移的。在功能手机的时代，很多的功能是在PC或者笔记本上完成，当智能手机越来越强大之后，很多场景、功能和应用逐步从PC迁移到智能手机，我们相信未来也会发生这样的迁移，应用会慢慢从智能手机迁移到AR眼镜。

再看一下在形态方面的思考。目前AR眼镜主要有三种形态：

首先，独立一体机。它的优点是可以做计算高度的定制，一体化的佩戴不需要用其他的设备来与它配合。它的缺点就是重量、体积偏大，无法借助手机的生态，需要独立开发一个生态；

第二，手机分体机。眼镜与手机配合工作，手机提供电源、算力以及交互设备，优点就是设备的轻量化，眼镜本身可以更加轻薄。同时可以借助手机现有的应用生态，比如有一些应用可以直接通过手机在AR眼镜中进行交互。但是它的缺点就是现在还有“一根线”，这是我们认为目前的缺点，但是未来是可以解决的。

第三，独立的分体式。这种与手机分体式比较类似，它的特点也是轻量化的设备，可以定制计算单元，用来交互、提供算力。缺点也是目前有一根线，同时也无法借助手机的生态。

综上考虑，手机分体机形态是目前适合发展的形态，因为手机生态比较统一、手机的用户基数大、有比较好的生态平台，可以提供电源、算力，也可以提供交互的设备。OPPO在AR上的思考，目前来讲要充分借助手机的软件、硬件以及相关的服务设施。

讲完了形态，来讲一下如何去打造一个好的AR体验。这里列举了好多当前的AR应用，它都有自己的特点和不足。目前AR观影存在内容不足的问题；AR游戏，可以与空间进行一些交互，但是核心玩法还没有成熟的定义；AR效率工具和AR办公存在一些使用频率和精度的问题；某些AR轻体验存在一些价值的问题，总结三点就是：可用性、易用性和必要性。

怎么在当前的技术条件下把AR体验做得更好？

我们认为需要发展两种能力：感知能力和交互能力。感知能力包含sensor、算法和AI。在AR早期可以做一些简单环境感知，例如平面识别、Marker追踪或者利用GPS做输入的简单环境感知。感知能力的精度将慢慢更高，它可以扩展到简单的真实物体，比方说可以做人脸等等。 感知能力的范围也会越来越大，会扩展到其他的IoT设备。在未来，感知会发展到整个真实世界，范围会非常广。我们会有一个非常好的基础设施，类似于地图来帮助我们打造更好的AR体验。我们的感知也会扩展到全部的电子设备。

另外一条维度就是交互能力。目前来讲，比较成熟的是一些2D交互能力，很多应用都是利用2D交互来做AR场景的人机交互，慢慢会发展到成熟的3D交互能力。VR上可以看到6DoF的遥控器已经很成熟，未来将慢慢发展出例如脑机接口这样的自然交互能力。

感知能力决定应用场景的范围，它决定了我们是局部的、房间级、楼宇级还是世界级的AR体验。交互能力决定应用场景的完善度。总结起来，在现有的技术条件下打造一个比较好的AR体验，首先要有一个完善的交互作为基础，再去探索最大感知能力下的场景。

在这里我们列举了几个场景，从轻到重，从轻的耳机场景到最重的工业场景，当场景越来越重，我们对于技术的需求会越来越大，技术的代价也会越来越高。场景的轻重度+感知能力+交互成熟度，这三者需要找到一个平衡才能在当前的技术条件下打造一个完善的AR体验。

讲完我们的思考，再回顾一下OPPOAR过去几年的工作。我们从三年以前开始从事AR方面的研究，在2018年组建了跨部门的AR团队，开始打造一些底层的技术。2018年发布了ARUnit--手机端开发平台。我们逐渐认识到AR形态会成为手机以外不可或缺的成分，此后我们开始进行AR眼镜原型机的打造，2019年底发布了AR眼镜原型机。2020年我们在去年年底的未来科技大会发布了第二代OPPOAR Glass 2021。

第二代AR眼镜，我们从硬件、软件和内容上都做了一些比较大的革新。

我们采用了全新的分体设计，重量相比于第一代减轻75%，在计算性能上有40%的提升，在光学方法上选择了Birdbath光学方案，并能够识别21个手部关键点。

AR一个重要的功能就是人与真实场景之间的三维交互，基于SLAM的跟踪是一个非常重要的能力。因此，OPPOAR Glass 2021搭载了基于SLAM的实时三维定位和重建能力。在AR光学方案有很多不一样的方案，需要根据场景和产品的需求去选择合适的方案，我们选择了Birdbath方案，因为它的显示效果好，能够满足当前产品定位和应用需求。

我们在内容方面也做了一些探索，联合爱奇艺和京东打造了AR观影体验和购物体验。并打造了多人AR游戏的体验或者基于手部跟踪的能力并跟媒体和公众见了面。

行业的成熟离不开整个行业一起参与。今年我们举办了开发者共创计划。我们与高通XR创新挑战赛合作，设立了OPPOAR特别奖赛道，并举办了一系列线下的开发者沙龙活动，我们给予参与的开发者资金、投资的对接机会、线下展示的机会、媒体的资源曝光机会，以及开发技术支持。年中的时候我们在北京、上海、成都举办了三场开发者沙龙活动，吸引了数百名开发者和行业伙伴积极参与。

以上就是我今天想跟大家分享的一些心得。下个礼拜二我们会发布OPPO新一代智能眼镜，敬请大家期待，谢谢！

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！