:::

產業技術評析

突破地理限制的真實互動-多人VR應用發展現況
發表日期:2016-06-22
作者:侯鈞元(工研院IEK)
摘要:
社群網站龍頭Facebook在今年F8開發者大會上,展示了研發中的Social VR相關應用。目前全球VR主要還是以單人應用為主,而Facebook則是朝多人互動的VR應用下手。

全文:
一、Facebook要讓社交走進VR

社群網站龍頭Facebook在今年F8開發者大會上,展示了研發中的Social VR相關應用。這次的展示終於將Facebook併購VR頭盔大廠Oculus的背後意圖完整揭露。目前全球VR主要還是以單人應用為主,如單人射擊遊戲、空中作畫、駕駛模擬等,在絕大多數的VR虛擬世界裡,並不會遇到其他真人。而Facebook則是朝多人互動的VR應用下手。

Facebook在2016年的F8開發者大會上,由其技術長在舊金山的會場上戴上VR頭盔,隨後被”投射”到位於倫敦的Facebook總部,和另一位同樣戴上VR頭盔的總部同仁進行虛擬互動。兩位使用者在倫敦場景上,透過簡單的虛擬替真(avatar)提供簡單化的人物外觀,兩人一起在倫敦遊覽並使用自拍棒自拍。整個活動包含了三個地理位置,分別是舊金山的技術長、倫敦總部的同仁,以及兩人一起遊覽的倫敦觀光景點。但是在兩人眼裡,他們卻是一起遊覽了倫敦的各地景點。

Facebook的口號是:在虛擬世界連結所有人類。Facebook希望人類的社交網路,從手機內的2D分享,走入3D擬真化。Facebook有兩個開發團隊正在開發social VR相關技術,目前的技術已可提供5人共同連線,未來希望可以應用在諸如跨國團隊會議、家人聯繫、商業會議、協同研發、觀光體驗等。

現階段Social VR技術僅能以配戴者的虛擬替身來呈現人物外貌,如同一張沒有表情的面具與浮在半空中的雙手,非常缺乏真實感。這是由於Social VR目前僅透過Oculus頭盔和手部控制器內的感測器來捕捉頭部和手部的動作,並無法掃描身體其他部位的畫面。

二、Microsoft Holoportation

大約在同一時間,2015年10月MIT Review報導Microsoft的Lanier Lab正在試驗一項名為Comradre的多人AR技術。Comradre計畫正在研究多人利用AR頭盔在不同地理位置上,卻能互動的技術。值得注意的是,Comradre計畫的開發和Microsoft的HoloLens發展完全獨立。主要是希望Comradre的開發方向不受限於HoloLens的硬體限制。

隨後約半年時間內,Microsoft果然在2016年發表了類似Comradre計畫的類似技術,由Microsoft Research所研發的Holoportation技術。該技術利用Microsoft的HoloLens頭盔,可將另一個遠距配戴者的影像傳送眼前,並且能夠進行互動。Holoportation技術的關鍵在於房間四周設立多個動作捕捉攝影機,以此捕捉人物的動作與外貌,再將捕捉到之數據壓縮後傳送到遠端,並在接收端即時合併成一個暫時性的真人3D模型,即時呈現出被捕捉者之動作與外貌。由於採用了光學攝影機的拍攝,因此Holoportation能呈現出完整的人物相貌,如臉部與身體衣著等,相較於Facebook Social VR的簡易型虛擬替身,Holoportation的互動真實感較高。

三、多人VR關鍵技術:人物投射與動作捕捉技術

多人VR的關鍵技術在於人物投射技術,可稱為teleportation或Distributed Virtual Worlds System,類似科幻電影裡將人物瞬間傳送到另一處的動作。就像視訊會議般,雙方都需要有攝影機,才能將雙方的影像,互相傳給對方。因此整個系統架構包含了人物捕捉、數據傳送、模型繪製(或影像還原)等三個步驟。而其中最重要的關鍵便是人物捕捉技術。

人物捕捉技術之前主要應用在電影與遊戲,一般稱為動作捕捉系統(motion capture),強調人物肢體動作的捕捉。透過在演員身上安裝感測器,紀錄人物各個肢體動作軌跡後,再於電腦上套用到電腦繪製的人物或怪物3D模型上,便能產生虛擬卻又具備真人流暢動作的畫面。

目前動作捕捉技術可粗分為慣性和光學兩大技術主流,分別具備相對位置與絕對位置概念,而光學式又分為標定和非標定兩種。慣性捕捉技術為利用安裝在人物身上的慣性感測器,包含陀螺儀、加速度計、磁力計,透過數量眾多的感測器去捕捉人體的動作。慣性感測的缺點為其僅具有相對位置的概念,長久使用後可能會有定位偏差。慣性捕捉技術的代表產品包括Noitom開發的Perception Neuron及G-wearables開發的StepVR。光學標定式捕捉技術則是將許多明顯的標記點,黏貼在人體各處關節或重要移動點,再透過外部的攝影機去捕捉這些標記點的移動軌跡,代表產品為Motion Analysis。另一種光學非標記式捕捉技術,人物身上不須黏貼任何標籤或感測器,單純由外部攝影機去捕捉人物影像與動作,代表產品包括Xbox遊戲機上的Kinect、捕捉手勢的Leap Motion和可辨識表情與手勢的Intel RealSense。

上述三種動作捕捉技術中,慣性捕捉在準確性度較低,但因成本較低且具備高度移動性,仍具有市場需求。基本上,感測點的數量越多,能識別的動作細微程度越高。光學標記式捕捉技術因成本較高,安裝繁雜,但效果最好,因此多僅常見於電影與遊戲製作。而光學非標記式捕捉系統,雖然人員不需配戴任何感測器,但捕捉效能卻是最低。Microsoft的Holoportation便是採用此技術,而Facebook social VR則是採用慣性捕捉。

當人物動作被完整捕捉後,便可將這些動作軌跡數據進行壓縮,再傳送到其他人的VR系統內。隨之開始對這些數據進行重組,即時還原人物的3D影像與動作。且針對不同觀看角度的VR使用者,輸出不同角度的3D影像。

四、多人VR面臨之挑戰與未來前景

(一)硬體需求將再度遇到挑戰,入手門檻再度墊高

目前主流的電腦運行VR系統,需要等級非常高階的配備,如高速處理器、高階顯示卡、大量記憶體等,才能順暢執行VR應用軟體。根據粗略估計,現今全球個人電腦總數中僅有約1%(約1300萬台)可以順暢執行VR。其餘99%的電腦不是需要升級或是僅能重新購置新電腦。

而目前的VR硬體需求,其實多數是建立在單人VR應用上。當VR從單人走向多人時,更需要額外的運算與通訊資源,才能將遠端使用者的即時3D影像投射至另一端。這造成原本已經吃緊的運算資源與配備要求,更加雪上加霜。

目前的個人電腦發展已經是效能過剩的狀態,一般消費者已經不需要時常更換或升級個人電腦硬體,也能輕鬆滿足需求。而多人VR的開發者之一Facebook,其目標市場卻是一般消費者,這些使用者若要體驗Social VR,需要自行花費1000美元以上去購置新電腦,再加上699美元購買Oculus VR頭盔,更可能需要額外的花費去購置人物動作捕捉系統,若再加上VR軟體費用,則總購置費用勢必將超過2000美元。

其實Facebook與Microsoft均已表示,多人VR仍需多年才能成熟,因此初期將會以B2B商業應用為主,而一般消費者恐怕需要更長久的等待時間。

(二)即時投射人物表情之挑戰

人物投射技術可簡單化分為兩類,一類是僅捕捉人物的動作軌跡,再套用到虛擬的卡通化替身去呈現,因此傳輸的數據僅有動作軌跡資料。這種類型普遍應用在多人連線遊戲,現階段Social VR也是此類。另一種則是除了動作捕捉外,也捕捉真人完整外觀,包含臉部表情、全身影像。因此資料量便包含了動作軌跡與即時影像,所需之傳輸頻寬與處理資料量高出許多,Holoportation便屬此類。

多人VR的應用其實具有層次之分,在多人遊戲、家人聯繫、共同旅遊、一般會議上,可能不需要太細微的人物投射需求,因此可以使用虛擬替身來代表人物。但在面試、談判會議、商務會議上,人物的表情與細微的肢體語言,都可能對會議產生影響,甚至改變會議結果。研究顯示,人類在人際互動時,往往可以透過觀察彼此的身體語言,進而改變互動的方式,例如興奮、憤怒、疲勞、說謊、不安等狀態。因此這種類型的互動應用就需要完整的人物全身補捉技術,但目前的技術與基礎環境難以達到完美的境界。

Holoportation利用安裝在遠處的攝影機去拍攝人物全身,包含臉部,但受限運算與通訊資源,現階段僅能投射出缺乏表情變化的人物實景。若要完整呈現人物的即時表情變化,等於需要更高解析度的攝影機,以每秒數格的頻率近距離拍攝,或是在臉上戴佈滿感測器的面罩,但這些捕捉方案現階段可行度不高。

其次,為了達到多人VR的效果,每位參與者都要配戴VR頭盔,但頭盔體積龐大,戴上去之後,已經遮住眼部與大半臉部範圍,其他使用者其實根本也無法清楚看到對方的眼神或表情,這也將多人VR的情感互動性打了折扣。

因此預估至少在近1~5年內的多人VR應用,將僅能以虛擬替身或簡單的人物外貌捕捉為主,期待中的細微表情捕捉,可能仍是長期發展的目標。

(三)多人VR未來發展預測-以低成本方案推廣市場

多人VR由於可提供多人互動,因此應用範疇將高於單人VR,預期未來將有高度市場需求,唯面臨的障礙也不小,昂貴的硬體與稀少的軟體。因此市場發展初期,透過低成本的技術方案來推升或教育消費者,是可行的發展策略。目前也有數家新創公司,致力開發低成本人物捕捉技術,如以現有智慧型手機為捕捉系統,其捕捉效果可能不及電影產業般的細緻,但也有不錯的效果。Google透過免費的Cardboard讓超過500萬人體驗了VR,讓接下來的Daydream平台發展有了市場基礎。因此多人VR除了Facebook與Microsoft兩家大廠的投入外,預期也未來1~5年內將會有更多新創企業投入,以創新的思維解決硬體需求與高成本的缺點,屆時將會有更好的發展。

(本文作者為工研院IEK ITIS計畫產業分析師)

* 點閱數2906
更新日期:2020-04-08

回上一頁 回首頁