去年這個時候，計(jì)算機(jī)視覺公司uSens推出了一款支持手部追蹤的立體攝像頭模型?，F(xiàn)在，uSens只需通過智能手機(jī)攝像頭即可實(shí)現(xiàn)相同的功能。

在日前舉行的世界增強(qiáng)現(xiàn)實(shí)大會（AWE）中，uSens推出了uSensAR Hand Tracking SDK的beta版本。這一工具可以幫助開發(fā)者在iOS和安卓設(shè)備上為VR和AR移動應(yīng)用整合手部追蹤和3D動作識別。借助智能手機(jī)的RGB攝像頭，uSensAR Hand Tracking可以通過計(jì)算機(jī)視覺和深度學(xué)習(xí)來追蹤整只手的骨骼動態(tài)，不僅僅只是一只手的指尖。

到目前為止，增強(qiáng)現(xiàn)實(shí)的主流普及主要集中在智能手機(jī)方面。因此，智能手機(jī)AR的任何主要界面創(chuàng)新都是一個重大發(fā)展。盡管蘋果和谷歌已經(jīng)通過ARKit和ARCore為移動設(shè)備帶來了水平表面和垂直表面的無標(biāo)識追蹤，圖像識別，甚至是多用戶體驗(yàn)，但用戶與增強(qiáng)現(xiàn)實(shí)內(nèi)容的交互僅限于觸摸屏界面，不同于HoloLens和Meta 2。

uSens聯(lián)合創(chuàng)始人兼首席執(zhí)行官何安莉表示：“uSens很自豪能夠?qū)R推向下一個前沿，幫助開發(fā)者為智能手機(jī)用戶創(chuàng)建更加引人入勝和娛樂性更強(qiáng)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)，為他們帶來更加直觀的操作：只需用雙手和手指在空中滑動即可。”

何安莉還說道：“這為開發(fā)者帶來了全新的可能性，使得他們能夠?yàn)橹髁魇鼙妱?chuàng)建真正獨(dú)一無二的體驗(yàn)。就像是觸摸屏幫助市場擁抱了智能手機(jī)，為用戶提供一種簡單自然的方式來與AR/VR對象和環(huán)境進(jìn)行交互，這將在促進(jìn)消費(fèi)者普及方面發(fā)揮重要作用?！?/p>

在短短一年時間里，uSens為什么可以在沒有外部硬件的情況下實(shí)現(xiàn)同樣的追蹤水平呢？關(guān)鍵是機(jī)器學(xué)習(xí)。

uSens產(chǎn)品與運(yùn)營副總裁王亞明表示：“自從我們在去年年中開始直接面向手機(jī)市場以來，我們便一直致力于研發(fā)基于智能手機(jī)RGB攝像頭的手部追蹤。它與我們?yōu)榛谏疃葘W(xué)習(xí)的技術(shù)所研發(fā)的算法類似。現(xiàn)在不同的是，我們訓(xùn)練算法來學(xué)習(xí)單個攝像頭輸入?！?/p>

“它可以根據(jù)我們的算法提供骨骼信息和關(guān)節(jié)信息，不過它的性能不如立體攝像頭或深度攝像頭，因?yàn)樗囊晥龈?。但是，我們相信它為一系列的用例提供了足夠好的性能?！?/p>

王亞明表示，uSens已經(jīng)在與美圖進(jìn)行合作，將這項(xiàng)技術(shù)集成至他們的AR攝像頭效果。另外，uSens同時在與一家未透露名字的游戲開發(fā)商合作，而王亞明暗示這家公司已經(jīng)在美國納斯達(dá)克上市，并且“在社交設(shè)定中發(fā)行了一款網(wǎng)絡(luò)游戲”。

盡管如此，雖然移動AR已經(jīng)加速了消費(fèi)者對AR的采用，但觸摸屏仍然是用戶和內(nèi)容之間的障礙。在回顧當(dāng)前市場上最佳的移動AR應(yīng)用程序時，我們可以馬上想象手部追蹤將能如何改善已有的優(yōu)秀體驗(yàn)。

當(dāng)然對于智能手機(jī)用力而言，用戶的一只手已經(jīng)要用來握持設(shè)備。不過，uSens技術(shù)同樣可以促進(jìn)智能眼鏡的更快速創(chuàng)新，特別是基于安卓的可穿戴設(shè)備。隨著精度和覆蓋范圍的提升，基于攝像頭的追蹤解決方案可以支持硬件廠商減掉專用深度傳感器的需要。

希望AR硬件行業(yè)能夠按照相關(guān)的思路進(jìn)行摸索，而這可能意味著廠商將能比想象中更快地為我們帶來優(yōu)秀的AR體驗(yàn)。