“你好，小布！附近有什么好吃的？”用戶的話音剛落，手機上就出現(xiàn)了一個小窗口，讓附近飯店的排名一目了然。對話中的“小布”是OPPO手機自帶的智能助手，并在前段時間成為業(yè)界首個基于“虛擬人”多模態(tài)交互的手機智能助手。去年年末，“虛擬人”市場快速升溫。除OPPO之外，京東、百度、阿里巴巴等科技企業(yè)都推出了自己的超寫實數(shù)字人，B站還專門為虛擬主播開設(shè)分區(qū)，“虛擬人”已經(jīng)走進了人們的生活。

“虛擬人”受到熱捧的重要原因之一，是人們對人機交互的更深層次需要。從單純的文本到語音，再到計算機視覺等技術(shù)的融合，人的天性傾向于融合視覺、聽覺等多種感官的交互過程。而“虛擬人”背后的多模態(tài)人機交互技術(shù)，恰好能夠滿足人對外界信息獲取逐漸升維的過程，讓“虛擬人”看起來像人、聽起來像人，更加具備人的溫度。

“虛擬人”背后的技術(shù)支撐

人機交互走過了鍵盤交互、觸摸交互、語音交互等若干階段。如今，由于用戶對人機交互的便利性、自然性以及準(zhǔn)確性提出了更高要求，更加智能化且能夠理解用戶意圖的多模態(tài)人機交互，開始成為人機交互發(fā)展的重要趨勢。

在接受采訪時，OPPO小布助手首席架構(gòu)師萬玉龍向《中國電子報》記者表示，當(dāng)深度學(xué)習(xí)算法在各技術(shù)方向逐漸趨于產(chǎn)業(yè)化，智能交互變得愈發(fā)重要。在這之后，傳感器、視覺技術(shù)、語音技術(shù)和自然語言處理技術(shù)等都進行了迭代升級，多種技術(shù)的融合形成了多模態(tài)人機交互方式。

通過文字、語音、視覺的理解和生成，結(jié)合動作識別和驅(qū)動、環(huán)境感知等多種方式，多模態(tài)人機交互能夠充分模擬人與人之間的交互方式。萬玉龍給記者舉例道，地鐵、銀行、商場等復(fù)雜環(huán)境下的服務(wù)類機器人就是結(jié)合傳感器、人臉識別、語音交互等技術(shù)來幫助人們完成信息查詢、購票、商家導(dǎo)航等需求任務(wù)。

現(xiàn)階段，多模態(tài)人機交互領(lǐng)域最火的代表就是“虛擬人”了。萬玉龍向記者表示，得益于元宇宙概念的大火，“虛擬人”這一元宇宙世界的“小切口”也得到了業(yè)界的廣泛關(guān)注。

2021年第三季度，OPPO推出智能助手小布的首個“虛擬人”版本，為“虛擬人”市場再添一把火。相關(guān)資料顯示，小布“虛擬人”涵蓋了視覺、語音、自然語言處理等多模態(tài)融合算法，采用多種基礎(chǔ)創(chuàng)新技術(shù)，可以實現(xiàn)與用戶在多個場景生態(tài)下的內(nèi)容服務(wù)、實時交互以及情感化交互。

作為多模態(tài)人機交互領(lǐng)域的重要成果之一，“虛擬人”背靠前端聲學(xué)處理、語音喚醒、語音識別、對話理解和管理、語音合成、計算機視覺和圖形學(xué)等技術(shù)支撐。萬玉龍對記者談道，語音交互是在對話理解的基礎(chǔ)上，通過對話管理生成對應(yīng)的回復(fù)話術(shù)和內(nèi)容服務(wù)，結(jié)合語音合成技術(shù)（TTS）生成播報音頻；虛擬人多模態(tài)交互則需要在此基礎(chǔ)上，進一步理解播報文本所蘊含的表達信息，通過文本和語音分析，生成對應(yīng)表情、嘴形和動作。

“除了嘴形以外，要想呈現(xiàn)出眼部、臉部的表情，以及我們說話或者非常開心時做出的動作，都需要3D人物設(shè)計和建模，并實時的根據(jù)表達內(nèi)容預(yù)測人物身體各部位的驅(qū)動參數(shù)，進而結(jié)合渲染引擎實現(xiàn)對人物模型的驅(qū)動?！比f玉龍舉例道，比如某個人在說“大”的時候，他的嘴型就會張得很大，然后說字母“O”的時候嘴型會呈現(xiàn)出一個圓形。

為了讓智能助手變的更加智能，人機互動過程還會涉及知識圖譜、內(nèi)容推薦等寬泛的技術(shù)領(lǐng)域。

AI學(xué)習(xí)還需要大量數(shù)據(jù)積累

現(xiàn)階段，虛擬人在三個環(huán)節(jié)上存在關(guān)鍵性的技術(shù)難點。萬玉龍向《中國電子報》記者指出，第一，從形象生成來說，用戶會越來越希望他們所構(gòu)建出來的“虛擬人”，在形象上顯得更加逼真，比如發(fā)絲、衣服的紋理等很細致入微的特點都能完美呈現(xiàn)。只有“虛擬人”真正像一個活生生的人站在用戶面前，用戶才能感覺到自己與虛擬人之間的距離被拉近。

“但要實現(xiàn)這一點，涉及的技術(shù)點其實非常多，處理起來會非常困難，且制作成本居高不下。”萬玉龍對記者坦言。

第二，在形象驅(qū)動方面，“虛擬人”的行動需要呈現(xiàn)得更加流暢和自然，而不是像機器人那樣僵硬。人在交流表達的時候，不管是手、眼還是表情，所有的肢體動作都是根據(jù)表達的內(nèi)容和情緒去變化的。但“虛擬人”想要達到這點，還需要更強大的AI機器學(xué)習(xí)和深度學(xué)習(xí)。AI只有在學(xué)習(xí)了大量真人表情、肢體表達的數(shù)據(jù)之后，才會慢慢趨近于真人，但這是一個非常漫長的過程。

第三，形象互動對于虛擬人來說尤為重要，因為“虛擬人”最大的賣點就在于互動性。如果“虛擬人”不能為用戶提供自然、舒適的交互體驗，用戶很快就會失去興趣。但這種互動性的提升其實并不簡單。比如，人在回答問題時，通常會結(jié)合語句“上下文”，運用自己的背景知識很快給出合適的答復(fù)。智能虛擬人助手則需要通過學(xué)習(xí)大量人跟人的對話數(shù)據(jù)，來構(gòu)建和豐富知識庫。這些數(shù)據(jù)的獲取并非易事，因為AI學(xué)習(xí)所需的數(shù)據(jù)量十分龐大，且需要不斷更新，其中的難度不言而喻。而且，在獲得數(shù)據(jù)之后，AI還需要對獲取的數(shù)據(jù)進行質(zhì)量把控和篩選，很難做到逐一排查。AI如果沒有辨別能力，在學(xué)習(xí)完數(shù)據(jù)之后很難對習(xí)得內(nèi)容進行修改，所以有些不合時宜的語句很可能會對用戶造成不良影響。

另外，假設(shè)人們問AI一個知識點，它也許會從知乎或者其他網(wǎng)站上選一個答案進行反饋，但這就涉及知識產(chǎn)權(quán)的問題，同時AI所學(xué)習(xí)到的知識也無法保證具有絕對專業(yè)性。比如，人們在生病的時候不能去詢問智能虛擬人助手自己該吃什么藥，因為無法保證所獲取到的答案的專業(yè)性。如果“虛擬人”助手給出一個錯誤的答案，人的健康可能會出現(xiàn)問題。所以，“虛擬人”要想與用戶進行無障礙且自然流暢的交流，還需要更多的技術(shù)積累與沉淀。

向具備更多應(yīng)用價值的領(lǐng)域拓展

盡管“虛擬人”在技術(shù)上尚存難點，但近年來的底層技術(shù)其實也在不斷進步。萬玉龍對《中國電子報》記者表示，不管是語音識別、對話理解、語音合成等語音交互技術(shù)，還是唇形驅(qū)動、表情驅(qū)動等多模態(tài)驅(qū)動參數(shù)預(yù)測技術(shù)，建模流程和方案都在變得更加簡單。

“從機器學(xué)習(xí)的模型層面來說，算法的迭代已經(jīng)讓模型訓(xùn)練和調(diào)優(yōu)進入到了‘門檻越來越低’的階段?！比f玉龍表示。

算力的提升也會讓“虛擬人”形象更加接近真人。萬玉龍對記者說，手機等設(shè)備端的算力正變得越來越強，云端服務(wù)器的算力也在不斷增強，促使AI工程師們可以生成更加復(fù)雜、更加真實的人物形象。

2021年，英偉達CEO黃仁勛的一段“虛擬人”演講視頻風(fēng)靡全球，英偉達推出的Omniverse平臺進一步走入大眾視野。據(jù)了解，Omniverse平臺是英偉達推出的實時3D設(shè)計協(xié)作和虛擬世界模擬平臺，旨在通過將圖形、AI、模擬和可擴展計算整合到一個平臺上，成為連接虛擬世界的基礎(chǔ)。

萬玉龍表示，借助自身強大的GPU算力，英偉達構(gòu)建了一個看上去比較真實的人物形象。這進一步表明，目前的算力確實提升了一個臺階，算力的提高也讓超寫實人物的渲染變得更具可行性。一方面是對話式AI技術(shù)的不斷升級，另一方面就是虛擬人物的形象構(gòu)建能力越來越強，整個對話體驗也變得更加智能，對話理解、知識圖譜等認知能力的建設(shè)更上一層樓，助力“虛擬人”產(chǎn)品化的能力日益提升。

有人說，汽車是下一代“移動終端”，有望成為實現(xiàn)人機互動、情感交互的移動載體。那么，“虛擬人”是否有可能出現(xiàn)在智能座艙領(lǐng)域？

在萬玉龍看來，不管是手機還是汽車，其實都可以被視為一個智能交互載體。OPPO推出的小布“虛擬人”目前的著力點主要還是在提升手機、電視、可穿戴設(shè)備等智能設(shè)備的交互體驗。萬玉龍表示，如果智能座艙等設(shè)備形成一定的規(guī)模之后，智能助手在這些設(shè)備中一定會有與用戶頻繁交互的機會，所以必然會產(chǎn)生一些場景應(yīng)用價值。只要是有應(yīng)用價值的領(lǐng)域，“虛擬人”的觸角其實都是可望又可及的。