好中手艺战立异协会于克日正在硅谷举行加强理想AR/假造理想VR手艺论坛。论坛约请了Google资深假造理想VR手艺专家吴专士，纽约州坐年夜教毕生传授瞅传授战我们一同剖析假造理想VR/加强理想AR的宿世此生，magic leap, hololens, 背后的手艺，和未来开展战应战，创业时机。
本次论坛吸收了100多个硅谷手艺喜好者，创业家去现场参与，同时几百个去自西俗图，纽约，欧洲，中国的听寡正在线参与。
本文是按照现场讲座收拾整顿而出。假如念愈加深化理解，能够浏览讲师文章：https://medium.com/@wanmin/%E4%B9%9F%E6%9D%A5%E8%AF%B4%E8%AF%B4magic-leap%E5%92%8Chololens-50cb9958f3e2#.38yz52eyt
甚么是加强理想AR，假造理想VR，他们的区分是甚么？
加强理想AR： Augmented Reality (加强理想)，是正在实在的情况内里减上假造的工具。假造理想VR： Virtual Reality (假造理想)，完整假造天下。
加强理想AR, 假造理想VR 皆需求带着头隐才能够发生假造结果。可是两者不同很年夜：
加强理想AR头隐是通明的，让您能同时看到理想天下，战叠减正在上里的假造成像。使用例子：赶没有上Lady Gaga的演唱会？不妨，戴上头隐她便正在您家里开一个。代表产物本型：Magic leap 战微硬的Hololens.
假造理想VR头隐是没有通明的，只显现假造天下，把物理天下完整盖住。使用例子：坐正在家里也能来年夜溪天“潜火”。代表产物/本型：三星Gear 假造理想VR，谷歌的Cardboard 假造理想VR，战脸书的Oculus Rift.
远几年加强理想AR，假造理想VR的年夜变乱
加强理想AR： ● 2014年，Magic Leap融资VC融资$500M（Series B）。● 2022年，Microsoft颁布发表HoloLens。● 2022年，Magic Leap再次融资VC融资$800M（Series C）。● 同期呈现的产物/本型● Google Glass● Epson Moverio● Lumus DK-32等。
假造理想VR： 2011年，18岁的Palmer Lucky正在本人车库建造了Oculus Rift的第一个本型。● 2012年，他的Kickstarter campaign散资$2.4M（本目的的974%）。● 2014年，Facebook斥资$2B购置Oculus。● 同期呈现的产物/本型 ：Samsung Gear 假造理想VR ， HTC Valve ， Google Cardboard 等。
加强理想AR， 假造理想VR详细分类
假造理想VR分类比力简朴： 基于脚机的战零丁装备；
加强理想AR比力庞大：一种便是“视频叠减”（video see-through大概video overlay）——理想天下是经由过程摄像头捕获，然后以视频的方法显现给用户（正在上里再衬着一些工具）。究竟上，如今脚机战争板上曾经呈现了许多video overlay的使用，好比看星空，供翻译，选家具等。另外一种是通明加强理想AR（optical see-through)——理想天下是透过镜片间接看到的。通明加强理想AR又能够分为单眼（好比谷歌头隐）战单眼。而单眼又能够分为Light Field3D （好比magic leap.）战 Stereoscopic3D（别的非magic leap产物）。
我们先去看看Stereoscopic 3D
今朝一切假造理想VR头戴式假造装备战尽年夜部门加强理想AR头隐（除Magic Leap）皆是基于Stereoscopic 3D。 它的事情道理便是给单眼运送差别图象。它们很类似，只正在程度标的目的上有纤细不同。而那两张图片拍摄的时分，便是用两个并排的相机模仿人眼的地位拍的，如今的3D视频皆是基于那个道理。 显现图象的格局能够分为工夫复用方法，便是把阁下眼图象瓜代显现，这时候候显现频次需求翻倍。 别的一种方法是空间复用，便是阁下眼图象拼成一副图象，这时候候图象分辩率加半。
可是Stereoscopic 3D手艺最年夜的成绩是会惹起用户身材没有适如头晕、恶心等。为何呢？那又触及到人眼的一个故意思的机造。当我们正在看一个理想天下中的物体时，眼睛实在有两种天然反响：（1）散焦(Accommodation/Focus)。眼睛的晶状体便像一个凸面镜，它会调理凸度去让谁人物体正在我们视网膜上分明成像。(2) “集聚”(Convergence)。正在每只眼睛散焦的同时，两只眼球借会有扭转活动去一同指背谁人物体。很天然天，那两种反射活动正在神经上是连接的(neurally coupled），也便是道随便一种活动会主动激发另外一种活动。那也意味着，正在人眼看实在物体的时分，散焦战集聚的间隔老是相称的（vergence distance = accommodation distance）。那末Stereoscopic 3D的成绩便去了。由于Stereoscopic的投射间隔老是牢固的(也便是accommodation distance稳定），而图片的disparity会让眼睛集聚正在差别的间隔(vergence distance)以发生景深3D结果。以是，那两种间隔常常是纷歧致的(vergence distance ≠ accommodation distance)，会形成那两种神经相连的活动强止别离（neurally decoupled）。
从另外一个角度讲，正在天然天下里，当人眼散焦并集聚到一个物体时，此外间隔的物体该当皆是恍惚的。而正在Stereoscopic 3D里，不论人眼散焦到哪女，此外间隔的物体成像皆是分明的。那些皆没有契合天然界人眼的纪律，因而年夜脑会发生紊乱，少工夫便会惹起恶心晕眩等病症。以是Stereoscopic实际上是用了一个小手段让人能看到3D结果，但它并非实3D。
magic leap 手艺中心－远目光场显现。
Magic Leap的中心手艺是去自华衰顿年夜教前研讨员Brian的，他导师是光纤扫描内乱窥镜(Scanning Fiber Endoscope)的专家。各人皆明白内乱窥镜便是大夫们做脚术时用去体内乱成像的，素质是个细小摄像头。Brian呢很智慧天顺转光路把那个手艺使用到显现上，如许经由过程极细的光纤用激光就能够挨出彩色的图象。那个手艺十几年前便揭晓了，厥后又精益求精，天生了一堆专利。Magic Leap很年夜水平上是基于Brian的那些专利。
光场显现跟Stereoscopic 3D比的一个很年夜差别便是它有本领能让人眼散焦到差别的间隔，从而战集聚的间隔连结分歧。那是最契合人眼察看天然天下纪律的做法，因而被称为true-3D。
能够设想要完成如许的光场显现，并非那末简朴。如今次要是两种办法：空间复用（space multiplexing）战工夫复用（time multiplexing）。“空间复用”简朴道便是把一个像素当几块用去完成差别的散焦间隔。那个办法最年夜的成绩便是分辩率年夜挨扣头。我已经试戴过，根本便是若明若暗。
“工夫复用”呢，便是用下速本件去快速发生差别的散焦间隔，让人眼觉得它们是同时发生的。如许的益处便是分辩率没有丧失。各人明白人眼的速率感知是有限的，许多显现器皆是60Hz的，由于人眼能分辩的极限值普通便是60Hz（正在某些下速内乱容好比游戏里能够到达90-120Hz）。那意味着甚么呢，假如操纵下速显现360Hz，就能够完成6个差别的散焦间隔。而有研讨表白用6个散焦间隔减上一种线性混淆（linear blending）的衬着算法便根本能完成从约30厘米到无量近让人眼天然对焦。
如许的光场受理想体系的范围必定不成能是持续的，皆是被采样的（downsampled）。可是，即便是如许的光场投射到眼睛里也正在实际上是跟实在天下物体光芒进进眼睛是一个原理，因而能够完成true-3D。回到最后的成绩，那也是为何Magic Leap的手艺主要的缘故原由。
最初我们看看加强理想AR面对的应战：
1. 显现：起首能完成远目光场显现便很易，如今的公司除Magic Leap借皆是用陈腐的Stereoscopic 3D的办法，用户戴少了便会眼困头晕恶心。而Magic Leap所用的远眼显现手艺实际上建立，理想中也另有许多成绩要处理。
2. 镜片：远眼显现有两个枢纽部件：显现器战镜片。如今年夜部门的加强理想AR头隐镜片皆是基于分光镜（beamsplitter prism）的，好比Google Glass，HoloLens，Epson Moverio。如图左，简朴的分光镜便是45度角，把显现器发生的光重新隐框反射进人眼，也同时让理想天下的光透出去。如许做简朴自制，可是镜片薄。一个以色列公司做出了一个光导（waveguide）手艺让镜片变得很薄，惋惜工艺庞大本钱太下。厥后也有一些自制的光导产物呈现，但量量借近没有如Lumus。以是，镜片也另有很少的路要走，不只要做到视角（Field-of-View）年夜，借要轻浮，透光性好，正在合射/反射显现光的时分也要只管连结光的属性并做到只管小的光丧失。
3. 视角（FoV）战分辩率（Resolution）：视角间接决议了用户体验。如今的许多加强理想AR头隐视角借正在20°-40°之间，很多试戴了HoloLens的记者皆对它的视角绝望。而人眼的横背视角单眼好未几有200°，纵背有130°。视角粗心味着总的分辩率也要很年夜才气笼盖。
4. 遮挡（Occlusion）：前里道到过单眼的景深感知有一个很主要的旌旗灯号便是物体之间的遮挡。正在用通明加强理想AR头隐时，一个枢纽成绩便是假造物体战理想物体之间的遮挡怎样完成。
5. 衬着玄色：通明加强理想AR头闪现正在借出法子衬着玄色。由于它道究竟是假造光战天然光的叠减。假如绘玄色，用户是看没有到的，只会看到前面的布景实在物体的光。相似的暗色皆有那个成绩。
6. 提早：通明加强理想AR头隐另有一个很年夜的应战便是提早。把假造物体叠减到实在物体上（好比放一个假造火杯到一个实在桌子上）触及到一系列计较：探测实在物体→计较它的空间地位战标的目的→计较叠减地位→衬着假造物体等。那统统皆必需正在一眨眼内乱发作，让用户觉得没有到提早。好比正在谁人火杯例子里，我们的头多是不断正在动的，跟着我们头动，我们看到的谁人火杯该当正在桌上本来的地位没有动才对。而假如体系提早过年夜，我们看到的谁人火杯的地位能够便老是不合错误，年夜脑便又紊乱了。那对通明加强理想AR应战特别年夜，由于实在天下我们是间接看到的，险些出有任何提早，而假造物体的衬着得能跟上那个速率才隐得天然。正在video overlay里，便出有那个成绩，由于我们看到的实在天下的视频曾经是提早的了，如许正在上里的物体叠减便比力简单跟它连结同步。
7. 激光：Magic Leap从前的手艺专利是用激光间接挨到人眼里，固然听说很宁静，但借出有切当的科教证据。以是用户承受度是个成绩，许多人估量一听到那个便望而生畏了。
道了那么多，那下一代挪动人机交互界里到底甚么时分能做成呢？我小我私家觉得要做成群众大众脍炙人口的版本最少要5年工夫，或许更少。由于以上列出的那些应战，每个皆借需求许多勤奋才气处理。今朝它们许多皆借没有到质变（只是需求劣化）的阶段，而是需求年夜的量的奔腾。以是，路漫漫而建近兮。但既然那是计较机开展的一定标的目的，拭目以待吧。
免费存眷好中手艺战立异协会，第一工夫收给您出色资讯：
去自西俗图战硅谷的科技创业立异资讯
硅谷年夜课堂（线下战正在线的手艺战立异讲座）
硅谷战西俗图手艺会商群，各至公司职位内乱部保举群
去自西俗图战硅谷企业家，手艺牛人本创文章战深度报导
民圆微专战 号： atiseattle
本文源自公家号“好中手艺战立异协会”
威钝网声明：转载此文供网友浏览理解该主题内乱容、出于通报更多疑息之目标，其实不意味着附和其概念或证明其形貌。 |
上一篇： 虚拟现实VR/增强现实AR论坛:行业爆发需解决哪些问题下一篇： 虚拟现实VR/增强现实AR论坛大咖云集,共话产业破局落地之道 CSHE2022
|
