2023年，生成式人工智能在全球范圍內(nèi)掀起熱潮，大模型的競(jìng)爭(zhēng)愈發(fā)激烈。在2024年，人工智能將進(jìn)一步帶動(dòng)芯片算力、存力（存儲(chǔ)性能）和能效的提升，推動(dòng)半導(dǎo)體在架構(gòu)和先進(jìn)封裝等環(huán)節(jié)的創(chuàng)新，并帶來(lái)新的市場(chǎng)增量。

芯片架構(gòu)邁向多元化

ChatGPT的出現(xiàn)拓寬了AI芯片的市場(chǎng)空間，AI大模型訓(xùn)練需求激增，因此高算力芯片成為半導(dǎo)體產(chǎn)業(yè)鏈本輪復(fù)蘇的主要驅(qū)動(dòng)力。在AI浪潮中，英偉達(dá)2023年的數(shù)據(jù)中心業(yè)務(wù)憑借著A100、H100等GPU（圖形處理器）產(chǎn)品實(shí)現(xiàn)了217%的同比增長(zhǎng)，截止2024年3月6日，其市值突破2.1億美元。

作為當(dāng)前進(jìn)行AI運(yùn)算的主流處理器，GPU自身具備強(qiáng)大的并行計(jì)算能力，但在近幾年的市場(chǎng)驗(yàn)證中，也暴露出成本較高、交付周期較長(zhǎng)以及功耗偏高等問(wèn)題。一方面，英偉達(dá)正在努力縮短交付周期；另一方面，各類(lèi)企業(yè)正在創(chuàng)新芯片架構(gòu)，以期對(duì)AI處理器的功耗和成本進(jìn)行優(yōu)化。

因此，ASIC這類(lèi)適用于特定場(chǎng)景的芯片開(kāi)始被谷歌、微軟等云服務(wù)廠商關(guān)注。

谷歌自2016年開(kāi)始研發(fā)專(zhuān)用于機(jī)器學(xué)習(xí)的TPU（張量處理器），并將其作為AlphaGo的算力底座。TPU采用低精度計(jì)算，在保證深度學(xué)習(xí)效果的同時(shí)降低功耗，并提升運(yùn)算效率。谷歌于今年1月發(fā)布的TPU v5p版本在大模型訓(xùn)練中的效率相較于v4提升了2.8倍。據(jù)悉，該系列芯片也將應(yīng)用于谷歌Gemini AI大模型的訓(xùn)練。

2月19日，由前谷歌TPU核心研發(fā)團(tuán)隊(duì)的工程師組建的初創(chuàng)公司Groq也開(kāi)放了自家產(chǎn)品LPU（語(yǔ)言處理器）的體驗(yàn)入口。在架構(gòu)方面，Groq的LPU使用了TSP（張量流處理器）來(lái)加速人工智能、機(jī)器學(xué)習(xí)和高性能計(jì)算中的復(fù)雜工作負(fù)載。Groq相關(guān)發(fā)言人稱(chēng)，該處理器的推理能力是英偉達(dá)H100的10倍。

此外，在AI從云端向終端滲透的過(guò)程中，諸多廠商認(rèn)為NPU（神經(jīng)網(wǎng)絡(luò)處理單元）是更加適合AI運(yùn)算的技術(shù)路線。高通的AI PC芯片X Elite和英特爾酷睿Ultra處理器中均集成了NPU以提升電腦端的AI性能。

高通AI引擎集成了CPU、GPU、NPU等多種處理器（圖片來(lái)源：高通）

架構(gòu)的多點(diǎn)開(kāi)花既體現(xiàn)出各大企業(yè)對(duì)于通用芯片和專(zhuān)用芯片的取舍，也意味著更多芯片品類(lèi)的供應(yīng)商及其上下游企業(yè)有機(jī)會(huì)分享AI時(shí)代的紅利。

“在過(guò)去幾年，GPU由于其完善的開(kāi)發(fā)生態(tài)仍然是AI計(jì)算的主要選擇。然而，隨著模型參數(shù)不斷增大，芯片對(duì)于計(jì)算能效的要求相應(yīng)提升，專(zhuān)用處理器在某些特定AI應(yīng)用場(chǎng)景中的優(yōu)勢(shì)將會(huì)十分明顯。綜合考慮應(yīng)用場(chǎng)景、成本等多方面因素，未來(lái)AI計(jì)算的硬件芯片選擇將是多技術(shù)路線并存的?！北本┐髮W(xué)集成電路學(xué)院研究員賈天宇告訴《中國(guó)電子報(bào)》記者。

AI性能帶動(dòng)先進(jìn)封裝

在上游芯片設(shè)計(jì)企業(yè)迎來(lái)AI帶來(lái)“潑天的富貴”的同時(shí)，下游的封裝技術(shù)也獲得了增量空間。

“生成式AI模型需要數(shù)百萬(wàn)或數(shù)億級(jí)別參數(shù)才能進(jìn)行推理，對(duì)芯片的處理速度、容量、帶寬都提出了更高的要求，這將推動(dòng)以Chiplet（芯粒）為代表的先進(jìn)封裝技術(shù)進(jìn)一步發(fā)展，帶來(lái)封裝行業(yè)的生態(tài)變化。”中電科電子裝備集團(tuán)有限公司董事長(zhǎng)景璀告訴《中國(guó)電子報(bào)》記者。

芯片的算力與晶體管數(shù)量呈正相關(guān)。由于摩爾定律的放緩，芯片的面積已經(jīng)縮小到接近物理極限，即便臺(tái)積電、英特爾IFS、三星電子等制造廠商紛紛公布3nm及更先進(jìn)制程，也面臨著提升成品良率的挑戰(zhàn)。因此，先進(jìn)封裝技術(shù)以及SIP（系統(tǒng)級(jí)封裝）等新的封裝方式將會(huì)是延續(xù)摩爾定律的有效途徑。

英特爾IFS“四年五個(gè)制程節(jié)點(diǎn)”路線圖（圖片來(lái)源：英特爾）

其中，Chiplet技術(shù)可謂“掌上明珠”。

一方面，Chiplet頗受芯片設(shè)計(jì)企業(yè)青睞。憑借高靈活性，Chiplet既實(shí)現(xiàn)了對(duì)不同架構(gòu)、不同工藝材料的堆疊，也省去了前道的復(fù)雜制造工藝，對(duì)設(shè)計(jì)企業(yè)而言更具性價(jià)比。有機(jī)構(gòu)統(tǒng)計(jì)，有將近30%的高性能CPU和GPU采用了Chiplet設(shè)計(jì)，包括英偉達(dá)、AMD等算力芯片供應(yīng)商。

另一方面，Chiplet的火熱也推動(dòng)了制造和封測(cè)企業(yè)在技術(shù)上的不斷創(chuàng)新。英特爾聯(lián)合多個(gè)公司確立了UCIe（通用芯?；ミB通道）標(biāo)準(zhǔn)，用于芯片內(nèi)部的計(jì)算區(qū)塊通信，并推出EMIB和Foveros等封裝技術(shù)，以便將芯粒無(wú)縫集成至封裝中。

臺(tái)積電此前與賽靈思合作開(kāi)發(fā)CoWoS封裝技術(shù)?；贑hiplet，CoWoS通過(guò)互聯(lián)硅中介層互聯(lián)實(shí)現(xiàn)多芯片封裝、高密度互連并降低功耗。隨著GPU站上AI風(fēng)口，臺(tái)積電CoWoS產(chǎn)能也迅速告急。在臺(tái)積電1月18日舉辦的財(cái)報(bào)會(huì)議上，總裁魏哲家表示AI芯片對(duì)先進(jìn)封裝的需求十分強(qiáng)勁，目前產(chǎn)能仍無(wú)法應(yīng)對(duì)客戶強(qiáng)勁需求，供不應(yīng)求的狀況可能延續(xù)到2025年。

存儲(chǔ)原廠比拼產(chǎn)能與封裝技術(shù)

算力是訓(xùn)練大模型的重要支撐，而存儲(chǔ)性能則與大模型的推理效率緊密相關(guān)。在大模型云集、AI應(yīng)用逐漸落地的背景下，推理能力被越來(lái)越多的芯片和云服務(wù)廠商強(qiáng)調(diào)。因此，在GPU產(chǎn)品中會(huì)配置多塊HBM（高帶寬存儲(chǔ)）以削弱芯片在AI計(jì)算中的內(nèi)存墻效應(yīng)，進(jìn)一步降低延遲。

HBM在2024年的競(jìng)爭(zhēng)將會(huì)更加激烈。

美光CEO Sanjay Mehrotra在2023年底的財(cái)報(bào)會(huì)議上透露，AI芯片對(duì)HBM的需求旺盛，美光2024年的HBM產(chǎn)能預(yù)計(jì)已全部售罄——于2024年初量產(chǎn)的HBM3E有望為美光創(chuàng)造數(shù)億美元的營(yíng)收。

無(wú)獨(dú)有偶，2月，SK海力士副總裁金基泰發(fā)文表示，雖然2024年才剛開(kāi)始，但今年SK海力士旗下的HBM已經(jīng)全部售罄。同時(shí)，公司為了保持HBM的市場(chǎng)領(lǐng)先地位，已開(kāi)始為2025年做準(zhǔn)備。三星電子緊隨其后，在2月27日正式推出12層堆疊HBM3E，比前代產(chǎn)品的帶寬提升50%，預(yù)計(jì)將于下半年投入量產(chǎn)。

三星電子的HBM3E 12H（圖片來(lái)源：三星電子）

普遍來(lái)講，存儲(chǔ)芯片的堆疊層數(shù)越高，其性能越強(qiáng)，但發(fā)熱和良率等問(wèn)題也越明顯。因此，與算力芯片類(lèi)似，先進(jìn)封裝及其相關(guān)技術(shù)也成為了存儲(chǔ)芯片提升性能的重要手段。

除了HBM中常見(jiàn)的封裝技術(shù)TSV（硅通孔）之外，三星電子努力消除堆疊層之間NCF（非導(dǎo)電薄膜）材料的厚度。據(jù)悉，三星電子12層堆疊的HBM3E采用了熱壓非導(dǎo)電薄膜技術(shù)，將芯片間隙壓縮至最小7微米，使得12層與此前8層堆疊產(chǎn)品的高度保持一致。

SK海力士自研了MR-MUF（批量回流模制底部填充）技術(shù)，區(qū)別于在每層芯片上鋪薄膜材料，該技術(shù)在通過(guò)在堆疊的芯片之間注入保護(hù)材料，以提升工藝效率和散熱性。SK海力士副社長(zhǎng)孫皓榮表示：“為了實(shí)現(xiàn)不同的人工智能應(yīng)用，人工智能存儲(chǔ)器的特性也應(yīng)該多元化。我們的目標(biāo)是以各種先進(jìn)封裝技術(shù)來(lái)應(yīng)對(duì)這些變化?！?/p>

材料和架構(gòu)創(chuàng)新助力低功耗

AI芯片除了通過(guò)調(diào)整架構(gòu)和先進(jìn)封裝技術(shù)提升算力和存力，還需考慮功耗因素。

一方面，在數(shù)據(jù)中心里，AI服務(wù)器的功耗逐漸增加將催生新的解決方案。據(jù)了解，英偉達(dá)H100的功耗達(dá)到了700W，而之后將推出的B100功耗還會(huì)再增加40%，這驅(qū)使現(xiàn)有的制冷技術(shù)進(jìn)一步優(yōu)化。英偉達(dá)CEO黃仁勛此前透露公司的下一代產(chǎn)品將會(huì)采用液冷方案，戴爾公司首席運(yùn)營(yíng)官JeffClarke也表示“工程團(tuán)隊(duì)為（英偉達(dá)）這款新產(chǎn)品做好了準(zhǔn)備，為GPU帶來(lái)高功耗所需的散熱解決方案”。

由于發(fā)展AI需要大量算力支撐，這也使得對(duì)電力的需求飆升，此時(shí)寬禁帶半導(dǎo)體和儲(chǔ)能也將發(fā)揮作用?！按笮陀?jì)算基礎(chǔ)設(shè)施的運(yùn)行需要更高功率、更高能效的電力電子設(shè)備去支撐，這對(duì)碳化硅、氮化鎵等寬禁帶半導(dǎo)體市場(chǎng)將是一個(gè)新的增長(zhǎng)點(diǎn)?！鄙钲诨景雽?dǎo)體有限公司總經(jīng)理和巍巍告訴《中國(guó)電子報(bào)》記者，“另外，未來(lái)AI技術(shù)的發(fā)展將高度依賴(lài)于能源，特別是光伏和儲(chǔ)能技術(shù)的進(jìn)步，這也與半導(dǎo)體行業(yè)息息相關(guān)?！?/p>

另一方面，AI正在經(jīng)歷從云到端的滲透，端側(cè)更加重視低功耗的需求。存內(nèi)計(jì)算將有可能成為在邊緣側(cè)進(jìn)行AI計(jì)算的全新范式。

“相較于云端的大算力GPU，終端智能計(jì)算芯片在保障性能的同時(shí)更追求低功耗、低成本。存算一體類(lèi)的新技術(shù)具有低功耗的優(yōu)勢(shì)，未來(lái)有望在廣泛的邊緣智能計(jì)算中發(fā)揮作用。”賈天宇表示。

當(dāng)前存內(nèi)計(jì)算已經(jīng)應(yīng)用于視覺(jué)、健康等智能移動(dòng)終端設(shè)備中，未來(lái)也有望在邊緣側(cè)、自動(dòng)駕駛乃至數(shù)據(jù)中心得到應(yīng)用。有機(jī)構(gòu)報(bào)告顯示，2023年存內(nèi)計(jì)算的市場(chǎng)規(guī)模有近177億美元，2030年將達(dá)到526億美元，年復(fù)合增長(zhǎng)率16.8%。

存內(nèi)計(jì)算市場(chǎng)規(guī)模預(yù)測(cè)（圖片來(lái)源：SNS Insider）

對(duì)于存內(nèi)計(jì)算而言，市場(chǎng)前景與技術(shù)挑戰(zhàn)并存。知存科技創(chuàng)始人兼CEO王紹迪向《中國(guó)電子報(bào)》記者表示：“以手機(jī)端跑AI大模型為例，現(xiàn)在手機(jī)中16GB的LPDDR5已經(jīng)超過(guò)70美金，70GB/s的帶寬（對(duì)比云端服務(wù)器帶寬近1TB/s）在短時(shí)間內(nèi)也不易提升，同時(shí)帶寬的擴(kuò)大必然會(huì)引發(fā)功耗升高。存內(nèi)計(jì)算相比傳統(tǒng)架構(gòu)AI芯片在成本、容量、帶寬和功耗各項(xiàng)能效上都具有很大優(yōu)勢(shì)，雖然短時(shí)間內(nèi)滿足邊緣側(cè)的模型算力需求并且達(dá)到很好的應(yīng)用效果仍有很大挑戰(zhàn)，但這是一件非常值得去做的事。”