藝術(shù)家Heather Day在Facebook園區(qū)的AR藝術(shù)作品

《大西洋月刊》(the Atlantic)撰文稱，F(xiàn)acebook新的“AI Camera”團隊想要在現(xiàn)實世界中開辟出一個新的空間。在圍繞手機攝像頭的爭奪戰(zhàn)中，該團隊將會整合過去十年最重要的一些技術(shù)進展，如神經(jīng)網(wǎng)絡(luò)、機器人、相機系統(tǒng)和社交網(wǎng)絡(luò)數(shù)據(jù)。在不遠(yuǎn)的未來，你的攝像頭將會理解它所在的位置，識別取景框內(nèi)的人，無縫地強化你所看到的現(xiàn)實。

以下是文章主要內(nèi)容：閱讀時間大概6分鐘

在Instagram故事功能中給閃閃發(fā)光的生日蛋糕蠟燭拍個視頻，然后點擊貼紙按鈕。在列表最上方，你就會看到蛋糕。

這是小玩意，這種簡單的伎倆并不令人驚嘆，也沒有什么神奇之處。但它是某種變革性的東西的開端。智能手機已經(jīng)改變了大多數(shù)人拍照的方式。硅谷的最新追求是重新想象攝像頭，將近年來人工智能的進步應(yīng)用于讓你的手機變得能夠輕松理解現(xiàn)實世界，就像谷歌理解整個網(wǎng)絡(luò)那樣。

坐擁20億用戶的Facebook已經(jīng)將負(fù)責(zé)Instagram、Facebook和Messenger的相機軟件編程的數(shù)個團隊重組成一個名為“AI Camera”的新部門。該部門去年成立的時候，只有一個成員。如今，它已經(jīng)擴張到60人。當(dāng)中包括曾在微軟從事Photosynth工作的里克·（Rick Szeliski）和邁克爾·科恩（Michael Cohen）。AI Camera團隊還能夠利用在公司其它部門的頂級神經(jīng)網(wǎng)絡(luò)研究者的專業(yè)知識，比如大名鼎鼎的雅恩·樂昆（Yann LeCu）和賈揚清。

AI Camera團隊負(fù)責(zé)賦予這些應(yīng)用內(nèi)的攝像頭理解你讓它們對準(zhǔn)的東西的能力。在不遠(yuǎn)的未來，你的攝像頭將會理解它所在的位置，識別取景框內(nèi)的人，無縫地強化你所看到的現(xiàn)實。

目前，該團隊都是推出小的成果，比如那個生日蛋糕貼紙伎倆。但那只是一個想要改變你使用手機攝像頭方式的開發(fā)項目的開始。

AI Camera結(jié)合利用過去數(shù)十年眾多最重要的技術(shù)進步：神經(jīng)網(wǎng)絡(luò)、機器人、相機系統(tǒng)和社交網(wǎng)絡(luò)數(shù)據(jù)。這些底層技術(shù)正在共同構(gòu)成智能手機的照片拍攝和顯示功能。

也許這聽上去很荒謬。但人類捕捉、理解和分享現(xiàn)實世界的照片的欲望已被證明幾乎無法滿足，正因為此，F(xiàn)acebook、蘋果、谷歌、三星、Snapchat、微軟等大型科技公司悉數(shù)進軍該領(lǐng)域。

Facebook的項目也讓人聯(lián)想到了其它科技巨頭的動作。閱后即焚通訊應(yīng)用Snapchat母公司Snap自稱是相機公司，其在“鏡頭”上的應(yīng)用可謂Pokémon Go以外增強現(xiàn)實的最佳詮釋。在谷歌今年5月的開發(fā)者大會上，桑達爾·皮查伊（Sundar Pichai）展示了Google Lens（谷歌鏡頭），該軟件能夠檢測攝像頭在對準(zhǔn)什么東西，還能夠利用這一信息提供其它的功能，如輸入密碼和識別花朵。

在Snap的刺激下，科技巨頭們紛紛開始拼合能夠通過智能手機這一完整的成像和顯示系統(tǒng)能夠完成的東西。手機攝像頭被使用的每一毫秒，所產(chǎn)生的數(shù)據(jù)都能夠被捕捉、處理、理解和回送給用戶查看。

空間化Facebook

“我們實質(zhì)上是在探究我們需要哪些技術(shù)來打造令人驚嘆的增強現(xiàn)實產(chǎn)品?！盇I Camera團隊產(chǎn)品經(jīng)理約翰·巴內(nèi)特（John Barnett）指出。

他說，試想一下，在現(xiàn)實世界上疊加一個持久穩(wěn)固的可分享社交層，一個逃出信息流的空間化Facebook。

“當(dāng)初每一個人都為只是疊加一層?xùn)|西的Pokémon Go感到非常興奮。要是有1000層那樣的東西呢？”巴內(nèi)特問道，“所有的這些信息層都會出現(xiàn)在情境空間里，跟你關(guān)心的東西密切相關(guān)。”

這跟我們所熟知的那個Facebook全然不同。盡管它已經(jīng)從桌面端轉(zhuǎn)向“移動端”，但它鮮少跟你握持手機所在的物理空間進行交互。

“在現(xiàn)有的Facebook結(jié)構(gòu)中，我們給你呈現(xiàn)世界上正在發(fā)生的一切事情，通過折疊空間來給予你時間?！卑蛢?nèi)特說道，“而AI Camera則是要折疊時間來給予你空間?！?/p>

也就是說，F(xiàn)acebook在同時處理兩種模式：動態(tài)消息（News Feed），實時向你展示你關(guān)心的東西；空間化的Facebook，告訴你這里正在發(fā)生什么。你可以觀察這種世界，也可以提供反饋。至少，你可以對你的世界這么做。

增強現(xiàn)實的一個愿景

在Facebook門洛帕克園區(qū)的其中一個樓層上，眺望南海灣的泥灘，你會看到一個平平無奇的角落。上面鋪設(shè)了管道。監(jiān)控攝像頭在東向的墻壁上。透過肉眼，你看不出該面墻跟Facebook園區(qū)數(shù)百面其它的墻有什么區(qū)別。

然而，掏出一部裝有Facebook正在開發(fā)的一款應(yīng)用的手機，將它對準(zhǔn)該面墻，你會看到一個漂亮的藝術(shù)作品。該作品主要由舊金山藝術(shù)家Heather Day創(chuàng)作而成。它在Facebook CEO馬克·扎克伯格（Mark Zuckerberg）在F8開發(fā)者大會發(fā)表主旨演講時曾短暫亮相。

管道下，鮮藍(lán)色，藍(lán)綠色，青綠色，各種色彩匯集在墻壁上……太酷了，它就是懸浮在空中。

關(guān)閉該應(yīng)用，再將它打開，再一次將手機對準(zhǔn)那個角落，那個藝術(shù)品再一次出現(xiàn)。繞著它來回走，穿過它，Heather Day的畫作仍舊在那里。要是全世界各地都成千上萬個像這樣的東西，會怎么樣呢？然后旁邊是墨西哥卷餅的推薦信息，跑步和騎行記錄應(yīng)用Strava的分段記錄項，你的朋友在鏡頭前擺拍……

這是增強現(xiàn)實的一個愿景。增強現(xiàn)實是指將數(shù)字信息疊加在現(xiàn)實世界的圖像上面。在蘋果推出旨在讓開發(fā)者將AR引入應(yīng)用的框架ARKit以后，AR近幾個月迎來了很多的發(fā)展動力。開發(fā)者們最近一直在展示那些AR應(yīng)用，谷歌前不久也發(fā)布了一套類似（盡管沒有獲得廣泛的贊譽）的工具：ARCore。

不管怎么樣，AR對于智能手機來說是一項極其復(fù)雜的任務(wù)。阿爾瓦羅·科列特（Alvaro Collet）是來自卡內(nèi)基梅隆大學(xué)的計算機視覺專業(yè)博士，從微軟加盟Facebook，加入AI Camera團隊。他站在我旁邊，看著那面墻?！斑@實際上是一個很有挑戰(zhàn)性的場景，因為它非常平整?！笨屏刑馗嬖V我。

即時定位與地圖構(gòu)建

這種基本的任務(wù)讓人想到了機器人數(shù)十年來要做的事情。研究人員將其稱作SLAM（即時定位與地圖構(gòu)建）。

SLAM的理論和實踐在過去30年里形成，源自多位機器人研究者，比如SRI的蘭德爾·史密斯（Randall Smith）和彼得·奇斯曼（Peter Cheeseman）、悉尼大學(xué)的休·杜蘭特-懷特（Hugh Durrant-Whyte）、塞巴斯蒂安·特倫（Sebastian Thrun）、來自卡內(nèi)基梅隆大學(xué)的科列特導(dǎo)師馬夏爾·赫伯特（Martial Hebert）。這些研究者大多數(shù)都研究真實的機器人，主要是裝有各類傳感器的自動化車輛。但隨著智能手機開始興起，研究人員意識到，他們的系統(tǒng)可能將能夠觸及數(shù)億人，而不是數(shù)十人。

SLAM的問題在于，你需要給機器人（或者手機）所在的世界構(gòu)建地圖，但機器人（或者手機）和世界的位置都是不確定的。

“如果你知道已經(jīng)是3D的世界的所有特征，那擺正攝像頭的位置會很容易。相反，如果你有所有的攝像頭位置信息，那給世界構(gòu)建3D地圖會很容易?！笨屏刑卣f道，“SLAM的問題在于，開始展開工作的時候，你沒有3D地圖，你不知道攝像頭在哪里。那是即時定位方面的工作?！?/p>

有很多的方法解決該存在于不同算法當(dāng)中的問題。每一種方法都需要作出折衷。有的可提供很高的精準(zhǔn)度，但計算方面成本高昂。有的可能沒那么廣泛地考慮來自一個傳感器的圖像，但運行快速，不需要太多的計算工作。

開發(fā)挑戰(zhàn)

Facebook同時為iOS和Android平臺開發(fā)產(chǎn)品，這給它帶來了不少的挑戰(zhàn)。當(dāng)然，F(xiàn)acebook的優(yōu)勢在于它無與倫比的規(guī)模：20億用戶，而且這一數(shù)字還在不斷增加。但要利用好這種規(guī)模，F(xiàn)acebook必須要讓AR同時適用于形形色色的手機，而不只是適用于像Pixel 2、三星Galaxy Note 8和iPhone X這樣的高端機型。那意味著他們實際上要部署多個算法來實施SLAM。在低端的手機上，運算會更加艱難，因此他們得提升運行速度。高端手機會有更好的表現(xiàn)，因為它們有足夠強大的處理能力。

對于低端機型，AI Camera團隊必須要考慮各種隱藏的硬件問題。在手機內(nèi)部，有個攝像頭，但還有個可用來了解手機運轉(zhuǎn)情況的慣性測量單元（IMU）。該單元包含陀螺儀和加速計。低端設(shè)備上的所有這些零部件都必須要進行校準(zhǔn)。它們的時鐘必須要同步化。由于制造質(zhì)量較低，每臺設(shè)備對比iPhone可能都會表現(xiàn)出不同程度的差異。

在所有的電子工作完成，手機知道它自己大概在哪個位置和場景的幾何結(jié)構(gòu)以后，接著要解決的下一層技術(shù)是：深度神經(jīng)網(wǎng)絡(luò)。該“神經(jīng)”部分意味著，這類軟件需要“經(jīng)過訓(xùn)練”，而不是通過傳統(tǒng)規(guī)則來程序化。在獲得大量的標(biāo)記數(shù)據(jù)后，神經(jīng)網(wǎng)絡(luò)能夠根據(jù)它看到的東西標(biāo)記新的數(shù)據(jù)。深度部分是指神經(jīng)網(wǎng)絡(luò)的層數(shù)，這與數(shù)據(jù)集的功能復(fù)雜性相關(guān)。

在過去5年里，這種機器學(xué)習(xí)系統(tǒng)改變了圖像識別等功能的處理方式。谷歌圖片讓你尋找名片或者山脈或者人的圖片的功能，就是借助了深度神經(jīng)網(wǎng)絡(luò)的威力。

不過，想象一下，下一步的進展：不只是識別藝術(shù)品，手機能夠識別存在于它已經(jīng)構(gòu)建的場景模型內(nèi)的物體。那在過去一年里才變得可行。

“這是我們第一次能夠在手機上同時運行SLAM和深度網(wǎng)絡(luò)?！笨屏刑卣f道，“我們有兩個大型團隊：SLAM幾何團隊和深度網(wǎng)絡(luò)團隊。目標(biāo)是，這兩樣?xùn)|西發(fā)生融合?！?/p>

那是你實現(xiàn)Facebook所想象的那種增強現(xiàn)實的唯一方式。到那時候，他們將只需要讓人們?nèi)ヌ畛渌械哪切┛臻g信息層。

“我們很想要做到的一點是，也許一兩年后，讓日常用戶僅通過手機上的工具就能夠重現(xiàn)藝術(shù)家Heather Day那樣的場景?！笨屏刑乇硎尽?/p>

任何有Facebook賬號的人都可以創(chuàng)作媒體作品和將它固定在世界上的某個地方。未來將會有懸浮在空中的食品推薦、婚紗照和畫作，未來到處都將會看到藝術(shù)作品和墨西哥卷餅。

濫用問題

但從各個社交平臺的發(fā)展史來看，我們可以確定的一點是：人們將會用自己的方式來利用那些工具。他們將會發(fā)現(xiàn)全新的用途，無法預(yù)料的用途，以及濫用的方式。空間化Facebook將會帶來意想不到的后果。

有的后果或許是可以預(yù)見的?，F(xiàn)在就已經(jīng)有空間化信息，只是不是以AI Camera想象或者通過Facebook運作的方式呈現(xiàn)出來。例如，餐館點評網(wǎng)站Yelp一直以來都備受流氓評論困擾。十年來，餐館一直都無法處理粉絲和黑子在它們的門口附上數(shù)字看板。

另一個有警示意義的例子來自Pokémon Go。奧馬里·艾其爾（Omari Akil）曾發(fā)表帖子描述他作為黑人玩該游戲的經(jīng)歷。他更多的時間不是花在游戲本身上面，而是在擔(dān)心其他人會否覺得他行為可疑——并將他帶到警察局?！爱?dāng)我的大腦開始一邊在擔(dān)心在美國作為黑人可能會遭遇的問題，一邊參與到Pokémon Go游戲帶來的現(xiàn)實世界探索的時候，我只想到了一樣?xùn)|西。”他寫道，“那就是，我繼續(xù)玩下去的話，我可能會死掉?！?/p>

美國的種族和性別歧視問題在互聯(lián)網(wǎng)上已經(jīng)突出，在空間化的增強現(xiàn)實中它們恐怕將會被進一步放大。并不是每一個人都能夠同樣輕松地訪問同樣的地方。

2016年，Waze在巴西推出了一項犯罪高發(fā)地區(qū)提醒功能，幫助人們穿行“治安不好的街區(qū)”。微軟也曾因為2012年的一項關(guān)于類似功能的專利陷入了麻煩當(dāng)中，專利里所說的功能被人稱作“避開貧民區(qū)”功能。

即便是在比較良性的例子里，空間信息如果不適合疊加在某個現(xiàn)實空間上面，也會引發(fā)問題。

并不是說Facebook能夠或者應(yīng)當(dāng)解決流氓和美國反黑人方面所有的問題，以及將數(shù)字信息疊加到現(xiàn)實世界的所有復(fù)雜問題。但在開發(fā)增強現(xiàn)實產(chǎn)品的時候，他們可以想想這些問題。

AI Camera項目內(nèi)部也面臨類似的難題。為了讓系統(tǒng)兼容全球各地形形色色千奇百怪的手機，計算機視覺技術(shù)專家科列特描述了種種他們必須要做的工作，比如校準(zhǔn)、算法、系統(tǒng)的故障耐受性。

除了實體部件的現(xiàn)狀以外，他們也應(yīng)當(dāng)應(yīng)對好增強現(xiàn)實在倫理和行為方面的問題?？紤]系統(tǒng)的濫用和偏見需要花費更多的心思，但現(xiàn)在就考慮這些問題會讓該系統(tǒng)日后變得更加強大。

如果AI Camera團隊取得成功的話，那他們將會在陸地上面開辟出一個無邊無際的新空間。未決的問題在于，那會給這種新的數(shù)字層底下的地方帶來什么影響