近日,蘋果申請的一項專利顯示,除了眼鏡和耳機,蘋果還在為其VR(虛擬現(xiàn)實)戰(zhàn)略研發(fā)一款專用手套。專利中提到,該手套支持檢測各種手勢動作,適用于筆記本電腦、平板電腦和智能手機等多個場景,還可應(yīng)用到全息投影模組、聯(lián)動PC和打印機等設(shè)備的場景,讓用戶在虛擬中體驗真實的觸感。 

隨著VR技術(shù)的不斷提高,用戶對VR交互的需求也日益增長。作為人們最常用的信息輸出器官之一,手如何在VR世界中實現(xiàn)交互引發(fā)了人們的廣泛關(guān)注。

手柄、手套和手勢實現(xiàn)手部VR交互

VR產(chǎn)品的核心是通過構(gòu)建虛擬的世界,讓用戶擁有沉浸式體驗。除三維圖像外,VR與人手部的交互也是沉浸式體驗中最重要的一部分。北京凌宇智控科技有限公司的CEO張道寧告訴《中國電子報》記者,目前手部VR的交互可通過VR手柄或VR手套這種非裸手的方式實現(xiàn),也可通過手勢識別這種裸手的方式實現(xiàn)。

張道寧向記者介紹,利用VR手柄實現(xiàn)VR手部交互是當前市場的主流,這種方式具備明顯優(yōu)勢。第一,VR手柄可實現(xiàn)標準化生產(chǎn);第二,VR手柄成本較低;第三,VR手柄有較高的可靠性,人手部的每個動作幾乎都可通過手柄實現(xiàn)交互;第四,VR手柄可通過振動實現(xiàn)物理反饋,給予用戶一定的沉浸式體驗。

張道寧指出,使用VR手套也是現(xiàn)階段VR領(lǐng)域比較重要的一種手部交互方式。VR手套上布滿傳感器,對人手部動作的捕捉非常精細,同時也能夠給予用戶力反饋。當用戶握住虛擬物體時,手套的系統(tǒng)會自動創(chuàng)建接觸對象的形狀,以確保用戶在接觸虛擬物體時也能有真實的觸感。在手指力方面,VR手套會在手指位置配備力傳感器,實現(xiàn)對不同握力和壓力的即時反饋。

那么目前我們有沒有可能在VR的世界中“解放雙手”,無需外部設(shè)備,裸手實現(xiàn)交互呢?對此,張道寧表示,現(xiàn)階段的裸手交互主要通過視覺、紅外和超聲波這三種方式實現(xiàn),無需設(shè)備即可實現(xiàn)VR交互,能給用戶帶來極大便利。

uSens凌感科技有限公司CEO何安莉告訴記者,裸手交互是通過計算機視覺實現(xiàn)的?！坝嬎銠C視覺就是模擬人的視覺,攝像頭模組就好像人的眼睛看周圍的一切,得到圖像。算法就像人的大腦處理眼睛攝取的圖像,以此告訴自己:‘我看到了手,手在做什么動作。’”何安莉?qū)τ浾哒f。

深圳岱仕科技有限公司的CEO谷逍馳則以Leap Motion推出的裸手交互引擎為例,向記者詳細介紹了裸手交互這種手部VR交互形式。谷逍馳表示,該引擎提供真實手部尺寸大小的全手追蹤與連續(xù)的手指彎曲跟蹤,且擁有較高的精度和自由度,包括手指展開的自由度和拇指的靈活度。

我們能通過觸摸實物來感受物體的形象和質(zhì)地,用手與現(xiàn)實世界交互。同樣,我們也能通過手與VR世界建立聯(lián)系,用手“觸碰”VR世界。張道寧告訴記者,當前VR手柄已在游戲、教育、工業(yè)和醫(yī)療等領(lǐng)域得到應(yīng)用。

谷逍馳也告訴記者,目前其公司推出的力反饋手套已應(yīng)用于飛行模擬、汽車裝配培訓(xùn)和康復(fù)訓(xùn)練等場景,以增加虛擬場景的沉浸感。

何安莉則分別介紹了手柄、手套和手勢三種手部交互形式在不同VR場景中的應(yīng)用。她表示,手柄適合VR里的槍戰(zhàn)游戲,操作起來更加方便和快捷。VR手套作為穿戴設(shè)備,上面帶著多個傳感器,不受視覺限制,適合大型的VR運動,如打高爾夫等運動。視覺手勢則更適合用手部做實驗、在空中或虛擬平面寫作等活動,因為視覺識別無需穿戴,雙手自由。何安莉還提到,手勢識別有非常廣泛的應(yīng)用,目前該公司的手勢識別已用于AR和VR頭顯、手機、車載、電梯和智能生產(chǎn)等多種設(shè)備和使用場景里。

三種手部VR交互方式各有技術(shù)瓶頸

以手部交互為中心的VR設(shè)計存在巨大的可能性,手部交互也在VR世界中扮演著重要角色。但據(jù)目前已有的消息,我們的雙手在VR世界里能做的事情還比較有限。

谷逍馳向記者分析了目前通過VR手柄實現(xiàn)交互的難點。他指出,手柄路徑試圖將手指追蹤添加到硬件中,但硬件尺寸和所選的追蹤方式使其追蹤精度和力反饋能力受到限制。

以Valve公司生產(chǎn)的Knuckles(Index控制器)為例,他具體分析了VR手柄面臨的難題。盡管該產(chǎn)品是目前最完善的操控手柄,它的手指跟蹤仍受限制,只有不到30度的連續(xù)彎曲檢測,對于超過30度的手指彎曲幅度只能檢測為張開或握緊,并且只有有限的5個自由度,不能將大拇指的旋轉(zhuǎn)自由度和四根手指的展開自由度輸入到VR中。

VR數(shù)據(jù)手套是另一種精確手部追蹤的技術(shù)路徑。谷逍馳告訴記者,大多數(shù)VR手套使用基于彎曲傳感器或慣性測量單元(IMU)的解決方案,并根據(jù)使用的傳感器數(shù)量追蹤5～10自由度的手部運動,以捕捉連續(xù)的手指彎曲。然而,彎曲傳感器根據(jù)其物理形變來改變電阻會使其使用壽命受限,基于IMU的解決方案雖然沒有損耗,但其可靠性易受金屬、磁體和周圍磁場的影響,基于慣性的性質(zhì)會導(dǎo)致“數(shù)據(jù)漂移”,需頻繁地重新校準。

張道寧也表示,目前VR手套很難實現(xiàn)標準化生產(chǎn),人手的大小不一導(dǎo)致VR手套不能被制作成通用工具,VR手套上裝載的大量電子元器件也會降低其延展性,使其不如普通手套那樣親膚和舒適。

針對如何完善VR數(shù)據(jù)手套的反饋系統(tǒng)、捕獲連續(xù)手指運動,谷逍馳的公司給出了相應(yīng)的解決方案,將力反饋添加到了便攜式手套中。他指出,外骨骼設(shè)計是VR人機交互革命的良好起點。機械外骨骼隨用戶手指一起運動,可將其運動傳至內(nèi)置角度傳感器,并在每個指尖產(chǎn)生力反饋。“它可以捕獲11自由度的手部運動,重建真實的手部模型。力反饋功能能在物理上組織用戶的手穿透虛擬物體,讓用戶感受其形狀、大小和剛度?！惫儒旭Y說。但同時,他也表示,費勁穿戴VR數(shù)據(jù)手套會阻礙其易用性,真正能平衡各方面問題且易于使用的解決方案尚待挖掘。

針對裸手交互,何安莉告訴記者,純視覺的手勢識別是沒有觸摸感的,操作虛擬物體缺乏觸摸真實物體的力反饋。

在張道寧看來,裸手交互最明顯的劣勢是沒有真正適合或需要這種交互方式的場景。他指出,裸手交互無法適應(yīng)復(fù)雜的場景,但在相對簡單的場景中,人們更偏向于使用手柄這類準確性和可靠性更高的設(shè)備。

谷逍馳指出了Leap Motion裸手交互引擎的弊端。他表示,該引擎沒有提供任何反饋方案,跟蹤的可靠性也很成問題。對此,何安莉以自己公司的技術(shù)為例,表示除了基于三維骨骼的手勢和肢體識別,SLAM的位置跟蹤和識別也可以成為VR領(lǐng)域重要的突破方向。

何安莉還指出了目前阻礙所有電子產(chǎn)品發(fā)展的科技瓶頸—電池的蓄電能力和重量?！半姵氐男铍娔芰椭亓坎粌H阻礙了AR和VR的技術(shù)發(fā)展,也阻礙了所有電子產(chǎn)品的發(fā)展。期待材料科學(xué)的發(fā)展能讓眼鏡和頭顯越來越輕,蓄電時間越來越長?！焙伟怖蛘f。

手部VR交互有望拓展更多應(yīng)用場景

現(xiàn)階段,手部交互是VR世界中非常重要的一種交互方式。隨著5G和人工智能等技術(shù)的發(fā)展,在未來的VR世界,手部交互有望拓展更多應(yīng)用場景。 

何安莉表示,人最自然的交互方式是語言和手,手勢自然交互是科技進步的必然趨勢,也是人類的理想?！白罱鼛资陙?人類的生活主要在和電子數(shù)字世界交互。從最早的電腦,到智能手機,到AR和VR技術(shù),再到機器人和智能汽車,數(shù)字世界也從一維發(fā)展到二維,再到立體的三維。同樣,人類的交互方式也由單行輸入變?yōu)橐暣笆髽?再發(fā)展為空中手勢。這是人類的理想,也是科技發(fā)展的趨勢。”何安莉說。基于此,她認為,除了AR和VR領(lǐng)域,手勢識別還可用于疲勞監(jiān)控和智能生產(chǎn)監(jiān)控等領(lǐng)域。

人工智能和5G的發(fā)展能夠在很大程度上助力VR技術(shù)的發(fā)展,也能夠讓手部VR交互的應(yīng)用變得越來越廣泛。何安莉告訴記者,人工智能是讓電腦有人的智慧,它能夠識別語言,識別人的面部,同樣也能識別人的手部和手部的動作。5G網(wǎng)絡(luò)傳輸和云處理也能夠給VR技術(shù)帶來新的發(fā)展空間?！昂芏鄶z像頭攝取的圖像數(shù)據(jù)都可以實時傳輸,云端處理監(jiān)控圖像和信息,大量的數(shù)據(jù)會產(chǎn)生巨大的信息和決策價值,也讓機器不斷地增加智能?！焙伟怖蚋嬖V記者。同時,她還表示,近幾年光學(xué)和顯示芯片技術(shù)的發(fā)展使得圖像處理在內(nèi)的各種芯片處理能力提高了很多,深度學(xué)習(xí)讓魯棒高速的識別變成可能,促進了計算機視覺和攝像頭的緊密結(jié)合。

賽迪顧問股份有限公司高級分析師袁鈺告訴記者,當前,最符合人體學(xué)和用戶習(xí)慣的交互方式是交互手套。交互手套通過動作捕捉和觸碰識別等人工智能技術(shù)進行交互,配合5G通信網(wǎng)絡(luò),能夠精準識別用戶動作,與終端設(shè)備實現(xiàn)良好的交互。袁鈺向記者表示,未來部分覆蓋式交互手套或是產(chǎn)品主流。

同時,袁鈺還指出,人工智能等技術(shù)的發(fā)展能夠推動手部VR交互的進步,“解放雙手”是實現(xiàn)VR大規(guī)模普及的必然趨勢?！傲己玫氖植縑R交互會提高用戶體驗,加快產(chǎn)品普及,也會拓展更多應(yīng)用場景。目前VR主要應(yīng)用于游戲、視頻等消費端,以及教育、醫(yī)療等企業(yè)端。隨著交互方式的改善,手部VR交互有望加快社交、制造、設(shè)計等多場景的拓展?！痹晫τ浾哒f。