小芯片上的大模型
基于嵌入式芯片,終端可以在不聯網的情況下使用離線大模型,以滿足部分對信息安全有較高要求的場景,以及機器人等涉及用戶語音等個人數據的場景。
2025-05-19 10:34:58
來源:中國電子報、電子信息產業(yè)網 張心怡??

“給我生成一份審訊盜竊案件的筆錄提綱?!敝噶钶斎牍P記本電腦之后,DeepSeek 16B(160億參數版)在毫秒間生成了一份包含基本信息、案件概述、權利告知、事實調查、其他重點事項、筆錄確認、注意事項等一級標題,且每個一級標題都包含3-5個二級標題的筆錄提綱。這是記者在第12屆中國國際警用裝備博覽會的中星微展臺看到的一幕。

今時今日,用大模型生成提綱已經是家常便飯,但這份筆錄提綱的特別之處在于:它是在筆記本電腦沒有聯網的情況下生成。這意味著160億參數的DeepSeek大模型,完全基于一枚嵌入在只有名片大小處理板的單芯片運行。

單芯片脫網運行DeepSeek 16B大模型生成審訊筆錄提綱

雖然聯網的大模型能夠基于云端的算力資源池實現更強大的功能,但也對計算和存儲成本、網絡條件有著較高的要求。而在城市感知、智能制造、智慧農業(yè)、智能交通等行業(yè)場景中,存在大量成本低、硬件配置相對簡單卻對千行百業(yè)的數智化升級起到關鍵作用的終端、邊緣設備,比如攝像頭、邊緣盒子、車路協(xié)同設備等。如果此類設備能夠基于嵌入式芯片調用大模型能力,將對企業(yè)、行業(yè)場景的提質增效起到關鍵作用。

此外,在機器人等涉及用戶個人信息采集的場景中,也需要嵌入式芯片搭配離線語言大模型,在保證機器人與用戶交互的同時,保護用戶的數據安全。

在嵌入式芯片運行離線大模型

“嵌入式芯片和云端芯片的設計思路不太一樣。云端芯片追求極致的大算力,而前端嵌入式受到的制約條件非常多,能耗、發(fā)熱、成本都要考慮到。”中星微智能研發(fā)中心總工程師周學武向《中國電子報》記者表示。

當前,嵌入式芯片能夠承載的大模型一般在70億參數規(guī)模。本次中星微展示的“星光智能五號”嵌入式AI芯片,能夠運行160億參數版本的DeepSeek大模型。為了讓嵌入式芯片以盡可能高的效率處理多模態(tài)信息,中星微團隊采用了多核異構的芯片架構,包括CPU、GPU、NPU,分別對應標量算力、矢量算力和張量算力。此外還有用于視頻編解碼的VPU、信息加解密的ECU,以及多核調度單元HCP(異構計算池)。

周學武表示,之所以選擇這種架構,是為了模擬大腦兼具形象思維和邏輯思維的特點。

其中,對形象思維的模擬是基于“直覺式”的端到端計算,比如NPU或GPU能夠直接輸出對圖片的識別結果。對于邏輯思維的模擬則主要基于CPU完成的“常識式”計算。

“把兩種計算融合在一起,可以實現更高精度的識別。因為CPU的‘常識式’計算能夠對可能產生的大模型幻覺進行糾正?!敝軐W武說。

搭載“星光智能五號”XPU芯片的開發(fā)板

另一個提升芯片運行大模型能力的設計,在于HCP。這一系統(tǒng)能夠調動芯片中的20多個核心,并根據用戶需求采用不同的策略調度算力,比如效率優(yōu)先原則或者算力均衡原則,以尋求在有限的條件下實現最佳的性能。

基于嵌入式芯片,終端可以在不聯網的情況下使用離線大模型,以滿足部分對信息安全有較高要求的場景,以及機器人等涉及用戶語音等個人數據的場景。

“未來5到10年,會有大量的機器人應用嵌入式芯片。目前機器人的發(fā)展重點是運動控制,就是機器人怎么走得穩(wěn)、怎么行動敏捷。但決策、思考能力,以及語音對話能力還需要通過網絡實現,要先采集用戶的語音,通過網絡傳到云端,云端給解析好了再傳回來形成指令。這存在實時性響應和用戶隱私的問題。如果基于嵌入式芯片構建機器人大腦,就可以保護用戶數據,也能提升交互的實時性?!敝軐W武說。

用2KB標簽檢索幾萬路攝像頭

行業(yè)場景中,攝像頭、工控盒子、車路協(xié)同設備等端、邊側終端,具有部署體量大、成本敏感、工作環(huán)境適應性較強等特點。要讓此類終端用上大模型,既需要輕量化、易部署的芯片,也需要做好算法的定制與數據鏈路的優(yōu)化。

在中星微展臺,記者看到了一個連接了筆記本電腦的攝像頭,在筆記本電腦搜索“戴安全帽的工人”,顯示屏立刻出現了兩天前展臺搭建時的施工畫面。這一過程是通過端(攝像頭)、邊(邊緣盒子)、云(云網絡和云平臺)協(xié)同完成。其中,端側和邊側除了部署中星微的嵌入式芯片,還部署了將視頻“切”成圖片再打上標簽的算法。

搭載“萬物識別”多模態(tài)大模型的終端攝像頭

具體來說,對于攝像頭正在錄制或者錄好的存量視頻,首先抽取關鍵幀或者關鍵數據做成圖片,再根據矢量算法提取圖片的關鍵點,成為包含索引信息和特征向量的標簽。

在這一過程中,1G的視頻可以抽取2M的關鍵幀圖片,2M的圖片再提取出2KB的標簽,在用指令檢索時,端側和邊緣側終端會檢索出標簽對應的圖片,也就是在KB級的數據中搜索,從而顯著提升了搜索和解析效率。而搜索結果會發(fā)送給云端的大模型進行核實比對。

“搜索到標簽之后,能夠找到標簽對應的圖片,由于圖片屬性包含時間戳和相應攝像機的IP位置,就能對應出是哪路攝像機在哪個時間點拍到了目標,并回溯到視頻,從而了解事件的前因后果。這樣就達到了高效快速的效果。”周學武說。他表示,在端邊預處理—發(fā)到云端比對—回傳端邊比對結果的過程中,大模型不斷訓練、不斷學習,之后檢索結果會越來越準確,更貼近用戶多樣化的檢索需求。

最新文章
1
史上最輕大折疊!vivo X Fold5今晚發(fā)布:配置匯總來了
2
“冰爽體驗”消費升溫,制冰家電面臨哪些挑戰(zhàn)?
3
空調行業(yè)"銅鋁之爭":當成本博弈撞上品質底線
4
最強配置!小米MIX Flip 2搭載驍龍8至尊版+5165mAh電池
5
行業(yè)唯一折疊機皇!榮耀Magic V5搭載滿血驍龍8至尊版
6
GPMI技術破局電視操作復雜難題,產業(yè)生態(tài)加速商用落地
7
長虹品牌價值突破2500億背后的三重驅動力
8
索尼中國亮相2025碳博會:融合創(chuàng)新科技與娛樂,賦能低碳未來?
9
容聲世俱杯宣言:不止于新鮮,領跑冰箱“養(yǎng)鮮”新主場
10
磁力金牛助3C消電好物大促快速打爆,收獲節(jié)點增長
11
5位老板娘連麥快手小店 了不起的老板娘活動助新潛主播618漲粉
12
冒險再啟程!快手團綜《帶你趣戶外2025》官宣定檔
13
快手「梨園烽火令」收官之夜落幕,帶領用戶感受傳統(tǒng)文化煥新魅力
14
快手618購物節(jié):全域經營驅動行業(yè)增長,成交破億商品數同比增長475%
15
快手本地生活2025聚力城市生態(tài)大會首站落地長春 助力區(qū)域本地商業(yè)增長
16
車載顯示迎來三大革命丨“抬頭”革命
17
OLED電視三強格局初步形成,但是依然面臨市場競爭壓力
18
1380億元的“國補”即將抵達,廚電業(yè)仍舊有人歡喜有人憂
19
華為首款鴻蒙旗艦電視要來了!曝光了這些功能
20
蘋果iPhone 17 Pro首次堆散熱:均熱板諜照曝光
關于我們

微信掃一掃,加關注

商務合作
  • QQ:61149512