:::
產業技術評析
突破地理限制的真實互動-多人VR應用發展現況
發表日期：2016-06-22
作者：侯鈞元(工研院IEK)
摘要：
社群網站龍頭Facebook在今年F8開發者大會上，展示了研發中的Social VR相關應用。目前全球VR主要還是以單人應用為主，而Facebook則是朝多人互動的VR應用下手。
全文：
一、Facebook要讓社交走進VR
社群網站龍頭Facebook在今年F8開發者大會上，展示了研發中的Social VR相關應用。這次的展示終於將Facebook併購VR頭盔大廠Oculus的背後意圖完整揭露。目前全球VR主要還是以單人應用為主，如單人射擊遊戲、空中作畫、駕駛模擬等，在絕大多數的VR虛擬世界裡，並不會遇到其他真人。而Facebook則是朝多人互動的VR應用下手。
Facebook在2016年的F8開發者大會上，由其技術長在舊金山的會場上戴上VR頭盔，隨後被”投射”到位於倫敦的Facebook總部，和另一位同樣戴上VR頭盔的總部同仁進行虛擬互動。兩位使用者在倫敦場景上，透過簡單的虛擬替真(avatar)提供簡單化的人物外觀，兩人一起在倫敦遊覽並使用自拍棒自拍。整個活動包含了三個地理位置，分別是舊金山的技術長、倫敦總部的同仁，以及兩人一起遊覽的倫敦觀光景點。但是在兩人眼裡，他們卻是一起遊覽了倫敦的各地景點。
Facebook的口號是：在虛擬世界連結所有人類。Facebook希望人類的社交網路，從手機內的2D分享，走入3D擬真化。Facebook有兩個開發團隊正在開發social VR相關技術，目前的技術已可提供5人共同連線，未來希望可以應用在諸如跨國團隊會議、家人聯繫、商業會議、協同研發、觀光體驗等。
現階段Social VR技術僅能以配戴者的虛擬替身來呈現人物外貌，如同一張沒有表情的面具與浮在半空中的雙手，非常缺乏真實感。這是由於Social VR目前僅透過Oculus頭盔和手部控制器內的感測器來捕捉頭部和手部的動作，並無法掃描身體其他部位的畫面。
二、Microsoft Holoportation
大約在同一時間，2015年10月MIT Review報導Microsoft的Lanier Lab正在試驗一項名為Comradre的多人AR技術。Comradre計畫正在研究多人利用AR頭盔在不同地理位置上，卻能互動的技術。值得注意的是，Comradre計畫的開發和Microsoft的HoloLens發展完全獨立。主要是希望Comradre的開發方向不受限於HoloLens的硬體限制。
隨後約半年時間內，Microsoft果然在2016年發表了類似Comradre計畫的類似技術，由Microsoft Research所研發的Holoportation技術。該技術利用Microsoft的HoloLens頭盔，可將另一個遠距配戴者的影像傳送眼前，並且能夠進行互動。Holoportation技術的關鍵在於房間四周設立多個動作捕捉攝影機，以此捕捉人物的動作與外貌，再將捕捉到之數據壓縮後傳送到遠端，並在接收端即時合併成一個暫時性的真人3D模型，即時呈現出被捕捉者之動作與外貌。由於採用了光學攝影機的拍攝，因此Holoportation能呈現出完整的人物相貌，如臉部與身體衣著等，相較於Facebook Social VR的簡易型虛擬替身，Holoportation的互動真實感較高。
三、多人VR關鍵技術：人物投射與動作捕捉技術
多人VR的關鍵技術在於人物投射技術，可稱為teleportation或Distributed Virtual Worlds System，類似科幻電影裡將人物瞬間傳送到另一處的動作。就像視訊會議般，雙方都需要有攝影機，才能將雙方的影像，互相傳給對方。因此整個系統架構包含了人物捕捉、數據傳送、模型繪製(或影像還原)等三個步驟。而其中最重要的關鍵便是人物捕捉技術。
人物捕捉技術之前主要應用在電影與遊戲，一般稱為動作捕捉系統(motion capture)，強調人物肢體動作的捕捉。透過在演員身上安裝感測器，紀錄人物各個肢體動作軌跡後，再於電腦上套用到電腦繪製的人物或怪物3D模型上，便能產生虛擬卻又具備真人流暢動作的畫面。
目前動作捕捉技術可粗分為慣性和光學兩大技術主流，分別具備相對位置與絕對位置概念，而光學式又分為標定和非標定兩種。慣性捕捉技術為利用安裝在人物身上的慣性感測器，包含陀螺儀、加速度計、磁力計，透過數量眾多的感測器去捕捉人體的動作。慣性感測的缺點為其僅具有相對位置的概念，長久使用後可能會有定位偏差。慣性捕捉技術的代表產品包括Noitom開發的Perception Neuron及G-wearables開發的StepVR。光學標定式捕捉技術則是將許多明顯的標記點，黏貼在人體各處關節或重要移動點，再透過外部的攝影機去捕捉這些標記點的移動軌跡，代表產品為Motion Analysis。另一種光學非標記式捕捉技術，人物身上不須黏貼任何標籤或感測器，單純由外部攝影機去捕捉人物影像與動作，代表產品包括Xbox遊戲機上的Kinect、捕捉手勢的Leap Motion和可辨識表情與手勢的Intel RealSense。
上述三種動作捕捉技術中，慣性捕捉在準確性度較低，但因成本較低且具備高度移動性，仍具有市場需求。基本上，感測點的數量越多，能識別的動作細微程度越高。光學標記式捕捉技術因成本較高，安裝繁雜，但效果最好，因此多僅常見於電影與遊戲製作。而光學非標記式捕捉系統，雖然人員不需配戴任何感測器，但捕捉效能卻是最低。Microsoft的Holoportation便是採用此技術，而Facebook social VR則是採用慣性捕捉。
當人物動作被完整捕捉後，便可將這些動作軌跡數據進行壓縮，再傳送到其他人的VR系統內。隨之開始對這些數據進行重組，即時還原人物的3D影像與動作。且針對不同觀看角度的VR使用者，輸出不同角度的3D影像。
四、多人VR面臨之挑戰與未來前景
(一)硬體需求將再度遇到挑戰，入手門檻再度墊高
目前主流的電腦運行VR系統，需要等級非常高階的配備，如高速處理器、高階顯示卡、大量記憶體等，才能順暢執行VR應用軟體。根據粗略估計，現今全球個人電腦總數中僅有約1%(約1300萬台)可以順暢執行VR。其餘99%的電腦不是需要升級或是僅能重新購置新電腦。
而目前的VR硬體需求，其實多數是建立在單人VR應用上。當VR從單人走向多人時，更需要額外的運算與通訊資源，才能將遠端使用者的即時3D影像投射至另一端。這造成原本已經吃緊的運算資源與配備要求，更加雪上加霜。
目前的個人電腦發展已經是效能過剩的狀態，一般消費者已經不需要時常更換或升級個人電腦硬體，也能輕鬆滿足需求。而多人VR的開發者之一Facebook，其目標市場卻是一般消費者，這些使用者若要體驗Social VR，需要自行花費1000美元以上去購置新電腦，再加上699美元購買Oculus VR頭盔，更可能需要額外的花費去購置人物動作捕捉系統，若再加上VR軟體費用，則總購置費用勢必將超過2000美元。
其實Facebook與Microsoft均已表示，多人VR仍需多年才能成熟，因此初期將會以B2B商業應用為主，而一般消費者恐怕需要更長久的等待時間。
(二)即時投射人物表情之挑戰
人物投射技術可簡單化分為兩類，一類是僅捕捉人物的動作軌跡，再套用到虛擬的卡通化替身去呈現，因此傳輸的數據僅有動作軌跡資料。這種類型普遍應用在多人連線遊戲，現階段Social VR也是此類。另一種則是除了動作捕捉外，也捕捉真人完整外觀，包含臉部表情、全身影像。因此資料量便包含了動作軌跡與即時影像，所需之傳輸頻寬與處理資料量高出許多，Holoportation便屬此類。
多人VR的應用其實具有層次之分，在多人遊戲、家人聯繫、共同旅遊、一般會議上，可能不需要太細微的人物投射需求，因此可以使用虛擬替身來代表人物。但在面試、談判會議、商務會議上，人物的表情與細微的肢體語言，都可能對會議產生影響，甚至改變會議結果。研究顯示，人類在人際互動時，往往可以透過觀察彼此的身體語言，進而改變互動的方式，例如興奮、憤怒、疲勞、說謊、不安等狀態。因此這種類型的互動應用就需要完整的人物全身補捉技術，但目前的技術與基礎環境難以達到完美的境界。
Holoportation利用安裝在遠處的攝影機去拍攝人物全身，包含臉部，但受限運算與通訊資源，現階段僅能投射出缺乏表情變化的人物實景。若要完整呈現人物的即時表情變化，等於需要更高解析度的攝影機，以每秒數格的頻率近距離拍攝，或是在臉上戴佈滿感測器的面罩，但這些捕捉方案現階段可行度不高。
其次，為了達到多人VR的效果，每位參與者都要配戴VR頭盔，但頭盔體積龐大，戴上去之後，已經遮住眼部與大半臉部範圍，其他使用者其實根本也無法清楚看到對方的眼神或表情，這也將多人VR的情感互動性打了折扣。
因此預估至少在近1~5年內的多人VR應用，將僅能以虛擬替身或簡單的人物外貌捕捉為主，期待中的細微表情捕捉，可能仍是長期發展的目標。
(三)多人VR未來發展預測-以低成本方案推廣市場
多人VR由於可提供多人互動，因此應用範疇將高於單人VR，預期未來將有高度市場需求，唯面臨的障礙也不小，昂貴的硬體與稀少的軟體。因此市場發展初期，透過低成本的技術方案來推升或教育消費者，是可行的發展策略。目前也有數家新創公司，致力開發低成本人物捕捉技術，如以現有智慧型手機為捕捉系統，其捕捉效果可能不及電影產業般的細緻，但也有不錯的效果。Google透過免費的Cardboard讓超過500萬人體驗了VR，讓接下來的Daydream平台發展有了市場基礎。因此多人VR除了Facebook與Microsoft兩家大廠的投入外，預期也未來1~5年內將會有更多新創企業投入，以創新的思維解決硬體需求與高成本的缺點，屆時將會有更好的發展。
（本文作者為工研院IEK ITIS計畫產業分析師）
點閱數：
3191
