叠境数字洪煦:专研光场技术十多年,一直在探索市场化的路上

巫盼 7年前 (2017-06-16)

神秘的光场技术可以给我们的生活带来什么?叠境数字或许可以给你答案。

说到光场技术,就不得不提到凭借一段光场显示视频获得诸多巨头投资的Magic Leap。虽然这家神秘的公司对于自己的产品三缄其口,但它无疑给许多人科普了何为光场。

光场的定义其实还是挺抽象的,“光场描述光在空间中位置和方向信息的分布,是空间中所有光线光辐射函数的总体”。

我们所看到的物体都是通过反射光线进入眼睛后,经过晶状体折射后成像在视网膜上的,如果没有光,就没有我们所看到的五彩世界。

今天我们采访的叠境科技就是要将这些光场信息采集,然后重新建模,创造一个完全“真实”的虚拟世界。

跟全美最年轻的教授组队

叠境数字是在2015年成立的,虽然时间不长,但是创始人虞晶怡博士在光场方面的研究却可以追溯到二十年前。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境创始人 虞晶怡

翻开虞晶怡的简历:美国麻省理工大学博士,美国特洛华州立大学终身正教授,上海科技大学教授……耀眼的学术成就为叠境的发展奠定了坚实的基础。

虞晶怡先是在加州大学研究计算机视觉,后来去麻省理工读博的时候,他认识了现在叠境的技术掌舵人Jason Yang。两人一拍即合,之后他们一直在国外研究光场相关的技术。

时间线拉到2013年,虞晶怡在回国的一次活动中认识了洪煦,也就是我们今天的采访对象,叠境数字的联合创始人之一。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境总经理 洪煦

从LED面板,到裸眼3D显示,洪煦从事的都是和3D成像技术研发相关的工作。“而虞晶怡研究的光场领域,和我当时关注的裸眼3D有很多结合点,然后我们就有计划一起搭伙创业。”

恰巧到2015年的时候,虞晶怡被上海科技大学邀请回国做教授,几个合伙人就一起创办了现在的叠境数字。

用洪煦的话来说,叠境是一家基于光场技术研发的产品公司。“Magic Leap做的是光场显示后端,那我们做的就是光场采集的前端。”

光场意味着什么?

目前的VR内容主要有两种“创作”方式,一种是以VR游戏为代表,通过三维游戏引擎工具进行虚拟场景的建模,还有一种是以360度全景视频为主的实拍。前者没法达到逼真的效果,而后者缺少沉浸感所需的深度信息。

“光场采集正是弥补了这两点的短板,以高真实度来达到那种像CG制作一样具有深度信息的场景,让你在虚拟的真实环境中走来走去。”洪煦简单阐释了光场之于VR的意义。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境目前的光场信息的采集主要是由多相机阵列和深度相机结合来完成,采集过程中可以记录下真实的光照信息,再通过后期的软件算法自动处理完成物体的光场重建。

说到光场的话,除了Magic Leap,国外的8i和Lytro都属于行业内的先行者。洪煦表示,叠境和8i在动态光场建模上有重合点,所谓的动态光场建模指的是,“当我们去“拍摄”一个人动作的时候,不需要任何的动捕设备,采集系统会直接记录整个运动过程,在VR或者手机端,你可以从任意角度去观看。”洪煦补充道8i可能偏向于游戏应用,而叠境更多的是影视特效方面。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

光场影视特效的应用 《Pippa’s Pan 盼》

对比光场相机出身的Lytro,洪煦提到了他们的采集系统,“我们在做的光场相机阵列不仅可以让静态图片实现拍后重对焦,同时可以对视频做相同的处理。”和Lytro相比的话,叠境的画面清晰度也会更高点。

但是叠境的相机阵列也有不少令人头疼的地方,“体积大、便捷性不够,目前还无法适用于消费级。”所以,叠境现在的技术解决方案主要以2B端的商业应用为主。

叠境:核心优势在于光场采集和算法

基于多年技术的钻研,叠境数字最核心的优势主要在光场采集和算法端,而算法又包括光场的重建和渲染,整个过程他们基本上做到了全自动化的处理。

在实际应用上,叠境提供的基于光场的解决方案包括淘宝的造物计划、360度3D VR直播以及影视特效等。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

造物计划上的光场采集模型

以淘宝造物计划为例,叠境会提供一套小型拍摄设备,完成物品拍摄后,软件算法会进行预处理,结束后直接上传到云端做最终的算法处理,这样就可以得到一个真实的光场商品模型。而淘宝APP端会加入一个光场渲染器,通过这个渲染器就可以直接在手机上浏览这些物品模型。

在他们的压缩算法下,洪煦介绍模型的大小会控制在3M以内,而整个光场建模的时间大约在15到30分钟左右。如果将建模放在云端处理的话,甚至只需要一分钟左右。

再就是直播和视频拍摄方面的应用,正如开头提到的,相比较普通的全景视频,叠境的光场技术可以为拍摄内容加入三维的深度信息,意味着你可以在所拍的场景内走动,而不是局限在一个固定的视角。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

京剧演员蓝天的光场采集现场

遗憾的是,目前这套拍摄系统还没有完全的成熟,而且由于要采集整个环境的光场信息,拍摄的周期会非常长,所以还无法实现这种光场视频的实时拍摄传输。

总结

“得益于硬件、芯片等技术的发展,光场技术迎来第一波大规模市场化的机会,现在是一个新的起点。”洪煦相信VR的未来是光场,他预计在3到5年内,行业内可以形成技术或者应用的标准。”

在采访洪煦的过程中,也可以明显感到他对于光场技术早日普及化的渴望。

提到叠境的光场采集系统时,洪煦表示他们的目标是争取在下半年或者明年将相机阵列小型化。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

而在光场建模上,由于物体材质的不同,在实际拍摄中有系统兼容的难度。“可能对某一种材质的产品,这套系统可以用,但是当换到另外的产品,我又得换其他系统,非常不利于大规模的普及推广。”叠境希望可以做出那种类似傻瓜相机的产品,它能够适用于所有物体的重建。

对于叠境来说,从技术到产品的过渡期,最大的难点莫过于如何去根据行业的需求,将技术转化成可以市场化和商业化的产品,而这一切的最大前提就是让光场技术走入更多人的视野。


【镁客·请讲】专注于报道科技创新项目;我们敞开心扉面对每一位创业者,力求为您呈现一群鲜活、有性格的品牌和人物;我们倾听创业故事和人生经历、探讨商业模式和行业趋势、对接资本市场和供需双方,以期为产业发展注入新的活力。

欢迎做客【镁客·请讲】,栏目合作请发送邮件至:post@im2maker.com

最后,记得关注微信公众号:镁客网(im2maker),更多干货在等你!

镁客网


科技 | 人文 | 行业

微信ID:im2maker
长按识别二维码关注

硬科技产业媒体

关注技术驱动创新

分享到