計算機視覺正在邁入“大模型時代”。前不久，來自UC伯克利計算機視覺領(lǐng)域的三位知名學(xué)者（Trevor Darrell、Jitendra Malik、Alexei A. Efros）聯(lián)手推出了第一個無自然語言的純視覺大模型（Large Vision Models），并第一次證明了純視覺模型本身也是可擴展的（scalability）。隨后，谷歌、微軟等國際大廠公布了對視覺大模型的探索，國內(nèi)百度、華為、商湯、智源、中國電信、美圖等多家公司也都展示了相關(guān)布局。繼自然語言大模型之后，視覺大模型會成為下一個風(fēng)口嗎？

視覺大模型的訓(xùn)練難度更高

也許很多人會疑問：在遍地都是大模型的今天，訓(xùn)練出一個優(yōu)質(zhì)的視覺大模型很難嗎？隨著大語言模型的爆發(fā)，不管是學(xué)術(shù)界還是業(yè)界，都開始嘗試使用“文本”來擴大視覺模型的規(guī)模。以“蘋果”為例，在訓(xùn)練時只需給模型看“蘋果”的照片，并配上描述性的文字告訴模型“這是一個蘋果”。然而，在面對更加復(fù)雜的圖片時，就很容易忽略其中大量的信息，造成錯誤理解。比如，一面鏡子中倒映的車輛可能會被模型誤判為真實車輛。

“相比于大語言模型，視覺信息一般都是2維（圖像）、3維（立體圖像）或者4維（立體視頻）信息，比語言信息多了1-3個維度，難度等級呈指數(shù)增長。”一位深耕AI深度學(xué)習(xí)的專家說道。

業(yè)內(nèi)人士普遍認(rèn)為，視覺并非自然語言，作為基本視覺單元的像素距離高層語義更遠(yuǎn)，找不到像“單詞”這樣離散化、符號化的基本語義單元，因此簡單地借鑒預(yù)訓(xùn)練語言模型的實現(xiàn)方法恐難奏效。

視覺句子使我們能夠?qū)⒏鞣N視覺數(shù)據(jù)格式化為圖像序列的統(tǒng)一結(jié)構(gòu)

賽迪顧問人工智能產(chǎn)業(yè)研究中心常務(wù)副總經(jīng)理鄒德寶向記者介紹說道：“視覺大模型是一種利用深度學(xué)習(xí)技術(shù)來進行圖像或視頻處理的算法模型。它的基本原理是基于神經(jīng)網(wǎng)絡(luò)，通過大規(guī)模的訓(xùn)練數(shù)據(jù)集和高性能的計算硬件，實現(xiàn)對圖像信息的高效處理和理解?！?/p>

與語言模型相比，視覺模型的數(shù)據(jù)更難獲取。對于語言模型來說，語言數(shù)據(jù)對所有數(shù)據(jù)都有一個自然的、統(tǒng)一的一維結(jié)構(gòu)——文本流，獲得大量的、多樣化的大數(shù)據(jù)集相對而言是件很容易的事，所以目前市面上的語言大模型動輒就是成千上萬億的參數(shù)規(guī)模。

然而在計算機視覺領(lǐng)域，不同的數(shù)據(jù)源都有不同的結(jié)構(gòu)，想要擁有同樣規(guī)模和多樣性的數(shù)據(jù)源非常困難。華為云人工智能首席科學(xué)家田奇表示，視覺模型提取特征可能是百倍、千倍的工作量，信息密度非常低?；ㄙM的成本、數(shù)據(jù)存儲等開銷巨大。

除了數(shù)據(jù)獲取難，視覺大模型的訓(xùn)練框架也是一大難點。大華股份先進技術(shù)研究院院長殷俊表示，在視覺領(lǐng)域沒有可參照的模型架構(gòu)，和現(xiàn)在大眾認(rèn)知的AGI、AIGC技術(shù)方向存在差異，在CV（Computer Vision計算機視覺）領(lǐng)域完全靠自己搭建。

“如何處理更復(fù)雜的圖像信息，獲取高分辨率的圖像并讓機器識別圖像各要素，這些技術(shù)難點不解決，很難打造出一個優(yōu)質(zhì)的視覺大模型。”鄒德寶坦言。

或?qū)⒃诠I(yè)制造場景率先落地

近年來，伴隨制造業(yè)加速轉(zhuǎn)型升級，智能制造已經(jīng)成為人工智能技術(shù)在工業(yè)領(lǐng)域中最典型的應(yīng)用之一。據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院信息化與軟件產(chǎn)業(yè)研究所數(shù)字經(jīng)濟戰(zhàn)略研究室主任高嬰勱介紹，人工智能技術(shù)能夠幫助機器通過圖像學(xué)習(xí)、聲音識別、感知監(jiān)測等方式，快速、準(zhǔn)確地檢測產(chǎn)品，在減少人工質(zhì)檢成本、提升產(chǎn)品質(zhì)量和生產(chǎn)效益方面的作用顯著，在手機、家電、汽車等離散制造行業(yè)質(zhì)檢環(huán)節(jié)中的應(yīng)用漸成規(guī)模。

視覺大模型或?qū)⒙氏嚷涞卦诠I(yè)制造領(lǐng)域。寧德時代首席制造官倪軍曾提出“極限制造”的概念。他表示，工業(yè)領(lǐng)域做到6σ（每百萬個產(chǎn)品里頭有一兩個不良品）遠(yuǎn)遠(yuǎn)不夠，而是需要做到9σ-12σ，即對不良品的要求上升到十億級，每十億個產(chǎn)品當(dāng)中，只允許出現(xiàn)1-3個不良品，這對機器視覺廠商是個極大的挑戰(zhàn)。而如今有了視覺大模型的助力，“極限制造”或許有機會走進現(xiàn)實。

Meta開源DINOv2視覺大模型

事實上，很多工業(yè)制造場景都為視覺大模型提供了落地的可能。試想一下，如果給智能網(wǎng)聯(lián)汽車配備上視覺大模型，困擾自動駕駛多年的視覺感知問題可能會迎刃而解。具備強大的圖像處理和識別能力的視覺大模型，可以更為精準(zhǔn)地識別車輛、行人、車道線等道路元素，并處理城市道路、高速公路、雨雪天氣等更加復(fù)雜的場景和環(huán)境，從而提高自動駕駛車輛在各種場景下的適應(yīng)性和魯棒性。智能網(wǎng)聯(lián)汽車將會迎來更多可能性。

如果讓工業(yè)機器人搭載上視覺大模型，它可以模仿人類視覺系統(tǒng)的工作原理，對視覺數(shù)據(jù)進行更為精準(zhǔn)的處理和分析，進一步破解工業(yè)機器人操作和控制“精度”的難題，還能不斷進行學(xué)習(xí)成長，讓工業(yè)機器人加速走向“具身智能”，也讓智能制造邁上新的臺階。

再比如在工業(yè)質(zhì)檢領(lǐng)域，產(chǎn)品質(zhì)檢涉及到大量數(shù)據(jù)和復(fù)雜的圖像、聲音、視頻等信息，要求模型能夠準(zhǔn)確地識別和分析各種缺陷和問題，甚至是微小的變化。用工業(yè)知識和工業(yè)數(shù)據(jù)訓(xùn)練出來的視覺大模型可以捕捉到產(chǎn)線上工藝流程和設(shè)備運行等細(xì)節(jié)，大幅提升工業(yè)質(zhì)檢的效率與水平。

不過，現(xiàn)階段來看，視覺大模型在工業(yè)領(lǐng)域的應(yīng)用仍處于早期階段，落地還面臨很多挑戰(zhàn)。例如，視覺大模型的訓(xùn)練和部署需要大量的數(shù)據(jù)和計算資源，而這在某些工業(yè)環(huán)境中可能難以滿足。工業(yè)數(shù)據(jù)敏感性高、特殊性強，對大量實時數(shù)據(jù)、多種類型數(shù)據(jù)、異常數(shù)據(jù)的處理和分析，是一項異常復(fù)雜的工作，同時數(shù)據(jù)安全保護也是一大難題。此外，視覺大模型的準(zhǔn)確性、穩(wěn)定性和可靠性也需要在實際應(yīng)用中進行不斷地驗證和優(yōu)化。

視覺大模型要追求“大一統(tǒng)”？

“在視覺模型設(shè)計領(lǐng)域中，追求大和統(tǒng)一，已經(jīng)成為當(dāng)下公認(rèn)的重要研究方向?！睍缫曆芯吭褐魅窝芯繂T張祥雨表示。在他看來，構(gòu)建大而通用的模型的好處在于“大反而簡單”。

所謂的“大”，不僅指模型更深（越深的神經(jīng)網(wǎng)絡(luò)具有越多的參數(shù)、越強的非線性，可以建模更加復(fù)雜的任務(wù)），更加強調(diào)利用更多的數(shù)據(jù)和算力幫助人們解決通用問題，期望用統(tǒng)一的模型解決多個模態(tài)、多個任務(wù)。

除了“大”，“統(tǒng)一”也是一個研究方向。追求通用框架的意義在于可以大規(guī)模地從數(shù)據(jù)中學(xué)習(xí)知識，無需針對每個任務(wù)單獨設(shè)計一套系統(tǒng)，避免引入大量人工，可擴展性強。從宏觀的角度來說，想要解決通用人工智能問題，首先需要實現(xiàn)模型的規(guī)?；瘮U展。

“盡管‘大’是未來模型發(fā)展的趨勢，但我們并不片面地追求更大的參數(shù)量和計算。同樣地，我們也不應(yīng)該簡單追求形式上的‘統(tǒng)一’，更應(yīng)關(guān)注統(tǒng)一帶來的性能收益。我們希望設(shè)計出更強大的模型，以創(chuàng)新算法充分發(fā)揮大數(shù)據(jù)、大算力的威力，隨著參數(shù)量、訓(xùn)練算法的提升在某個時間點上獲得性能的質(zhì)變，即‘涌現(xiàn)’。”張祥雨表示。

雖然視覺大模型能為機器學(xué)習(xí)帶來更廣泛的應(yīng)用場景和更高的表現(xiàn)能力已成共識，但廣東工業(yè)大學(xué)教授蔡念表示，這需要海量的數(shù)據(jù)支撐，企業(yè)如果想用好大模型，就要不斷挖掘工業(yè)制造數(shù)據(jù)，為大模型提供足夠的訓(xùn)練數(shù)據(jù)來源，此外還需要考慮參數(shù)和算力的問題。這些要求對于大企業(yè)而言問題不大，但巨大的成本是很多中小型企業(yè)難以負(fù)擔(dān)的。

蔡念認(rèn)為，此時不如考慮小模型和輕量化大模型。智能制造場景化、碎片化明顯，這就需要專注于特定領(lǐng)域進行訓(xùn)練，進行不同場景的模型定制化，最終形成某一領(lǐng)域的通用模型。這意味著，機器視覺的理想未來，是在復(fù)雜的應(yīng)用場景中打造標(biāo)準(zhǔn)化的應(yīng)用方案。