每經(jīng)記者 朱成祥    每經(jīng)編輯 陳俊杰    

誰(shuí)是生成式AI最大的受益者？至少在芯片產(chǎn)業(yè)鏈，一定是GPGPU（通用圖形處理器）絕對(duì)龍頭英偉達(dá)。在AI芯片，在GPGPU領(lǐng)域，天下英雄誰(shuí)敵手？答案是沒(méi)有。

在優(yōu)良業(yè)績(jī)的助推下，英偉達(dá)一度站上一萬(wàn)億美元市值。這是芯片行業(yè)內(nèi)其他公司難以企及的高度，其市值也達(dá)到芯片巨人英特爾的七倍。

作為英偉達(dá)的創(chuàng)始人，黃仁勛究竟有什么魔法把公司帶到如此高度。從近日黃仁勛在臺(tái)大的演講中，或能窺得一二。

“學(xué)會(huì)放棄，是邁向成功的核心關(guān)鍵。”黃仁勛是這樣說(shuō)的，也是這樣做的。十年前的2013年，英特爾還在耗費(fèi)巨資補(bǔ)貼移動(dòng)端平板廠商；華為憑借P6手機(jī)，帶領(lǐng)海思K3V2芯片初露鋒芒。而英偉達(dá)，卻漸漸淡出了彼時(shí)風(fēng)頭正盛的移動(dòng)端SoC市場(chǎng)。

“我們的放棄獲得了回報(bào)，我們創(chuàng)造了一個(gè)新的市場(chǎng)——機(jī)器人技術(shù)。擁有神經(jīng)網(wǎng)絡(luò)處理器和運(yùn)行AI算法的安全架構(gòu)。”黃仁勛說(shuō)道。

但任何人無(wú)法僅靠“放棄”獲得成功。放棄之外，黃仁勛更多的是“專(zhuān)注”。芯謀研究總監(jiān)李國(guó)強(qiáng)告訴《每日經(jīng)濟(jì)新聞》記者：“（英偉達(dá)的成果）源自它的專(zhuān)注，其長(zhǎng)期專(zhuān)注于GPU領(lǐng)域，又趕上了AI生態(tài)的爆發(fā)。這兩個(gè)方面造成英偉達(dá)成為全球芯片產(chǎn)業(yè)王者。”

舍得放棄的“狂人”

身著皮夾克的“狂人”，這是業(yè)界對(duì)黃仁勛的印象，游戲玩家們?cè)诟鞔笳搲幸渤３ＳH切地喊他“老黃”。由于英偉達(dá)每一階顯卡，在價(jià)格和性能上只比次一階高一些，因此黃仁勛也被稱(chēng)為“刀客”，這種錯(cuò)落有致的各階顯卡布局，也被叫做“老黃刀法”。

在這次演講中，老黃一改“皮衣刀客”的狂人形象，穿起了禮服，顯得溫文儒雅。演講中，黃仁勛講了一個(gè)有趣的故事。十年前，臺(tái)大陳教授邀請(qǐng)他來(lái)看其物理實(shí)驗(yàn)室，只見(jiàn)整個(gè)房間都是英偉達(dá)的游戲顯卡，插在開(kāi)放式電腦的主機(jī)板上，金屬架上都是散熱用的大風(fēng)扇。陳教授告訴他：“黃先生，因?yàn)槟愕年P(guān)系，我可以完成我的事業(yè)。”

陳教授的話深深地感染了黃仁勛，“（陳教授）說(shuō)的那些話至今仍感動(dòng)我，完美詮釋了我們公司的價(jià)值：幫助這個(gè)時(shí)代的愛(ài)因斯坦與達(dá)芬奇完成他們的事業(yè)。”

愛(ài)因斯坦在創(chuàng)立廣義相對(duì)論的過(guò)程中，曾尋求同時(shí)代數(shù)學(xué)家的幫助。

而在如今這個(gè)時(shí)代，無(wú)論AI，亦或物理學(xué)、生物學(xué)的研究，都離不開(kāi)算力的支持。英偉達(dá)，正是AI芯片的領(lǐng)軍者。

“放棄”與“專(zhuān)注”，可謂黃仁勛成功的關(guān)鍵。十年前，AI并不興盛，行業(yè)里關(guān)注的焦點(diǎn)是移動(dòng)端。智能手機(jī)、平板的大爆發(fā)，使得移動(dòng)端芯片成為各大芯片巨頭的“兵家必爭(zhēng)之地”。

英偉達(dá)在移動(dòng)端“起得早”，卻最終放棄。據(jù)英偉達(dá)官網(wǎng)，早在2008年，英偉達(dá)就推出針對(duì)移動(dòng)端的Tegra芯片；2011年5月，為了補(bǔ)基帶的短板，英偉達(dá)又收購(gòu)了Icera公司，后者在針對(duì)3G和4G網(wǎng)絡(luò)的手機(jī)、平板電腦的高性能基帶處理器領(lǐng)域一直是領(lǐng)先的創(chuàng)新者。

當(dāng)時(shí)，黃仁勛宣稱(chēng)：“這是英偉達(dá)在移動(dòng)計(jì)算革命浪潮中成為領(lǐng)先公司的關(guān)鍵一步。通過(guò)將Icera公司的技術(shù)整合到Tegra中，我們將開(kāi)發(fā)出一個(gè)極佳的平臺(tái)，用以支持行業(yè)中最好的手機(jī)和平板電腦。”

只是，在這輪移動(dòng)計(jì)算革命浪潮中，英偉達(dá)失敗了，勝利屬于蘋(píng)果、高通和聯(lián)發(fā)科。2013年，英偉達(dá)在拉斯維加斯國(guó)際消費(fèi)電子展上發(fā)布Tegra4，這款芯片也成為英偉達(dá)在手機(jī)芯片領(lǐng)域的“絕唱”。此后，Tegra系列芯片主要應(yīng)用在任天堂Switch主機(jī)上。

AI芯片獨(dú)領(lǐng)風(fēng)騷

盡管當(dāng)下手機(jī)芯片行業(yè)不景氣，但這依舊是一個(gè)巨大的市場(chǎng)。十年前，要做出放棄手機(jī)芯片市場(chǎng)的決定，更是非常艱難。

但黃仁勛選擇放棄一個(gè)規(guī)模巨大的市場(chǎng)，去創(chuàng)造一個(gè)未知的市場(chǎng)。在演講中，黃仁勛感嘆：“從巨大的手機(jī)市場(chǎng)撤退，再創(chuàng)造一個(gè)不知道市場(chǎng)規(guī)模的機(jī)器人市場(chǎng)。然而，現(xiàn)在的我們擁有數(shù)十億美元的自動(dòng)駕駛、機(jī)器人技術(shù)的事業(yè)，也開(kāi)創(chuàng)一個(gè)新的產(chǎn)業(yè)。”

在桌面CPU，英特爾、AMD雙雄并立；在移動(dòng)端SoC，蘋(píng)果小幅領(lǐng)先，高通、聯(lián)發(fā)科、紫光展銳等公司各領(lǐng)風(fēng)騷。在AI芯片領(lǐng)域，不乏AMD、英特爾這樣的老牌芯片巨頭，也有芯片大神Jim Keller帶領(lǐng)下的初創(chuàng)公司Tenstorrent。盡管巨頭云集，大神匯聚，英偉達(dá)依然能夠“一騎絕塵”。

為何沒(méi)有敵手？“英偉達(dá)贏在CUDA（Compute Unified Device Architecture，英偉達(dá)推出的通用并行計(jì)算架構(gòu)），贏在軟件。”一位前券商分析師如此回復(fù)記者。其后，《每日經(jīng)濟(jì)新聞》采訪了多名行業(yè)專(zhuān)家及GPGPU行業(yè)工程師，CUDA幾乎均被提及。由CUDA構(gòu)建的軟件生態(tài)，是英偉達(dá)能夠獨(dú)領(lǐng)風(fēng)騷的關(guān)鍵。

英偉達(dá)領(lǐng)先其他GPGPU廠商的優(yōu)勢(shì)到底有多大？“院士與高中生的差別。”芯片工程師林達(dá)（化名）告訴記者。那英偉達(dá)跟AMD呢？“院士和大學(xué)教授吧。”其回復(fù)道。

拉開(kāi)差距的關(guān)鍵，在于生態(tài)。“生態(tài)是第一位，（CUDA）跟安卓系統(tǒng)很像，太成熟、太方便，生態(tài)太強(qiáng)了。就像可樂(lè)一樣，程序員已經(jīng)習(xí)慣（CUDA）這個(gè)飲料了。而（CUDA）把門(mén)檻搞得很低，就好像你數(shù)學(xué)差，但是你會(huì)用計(jì)算器。”林達(dá)向記者解釋。

那么其他AI芯片公司能否使用類(lèi)似CUDA的工具？比如AMD推出的ROCm（Radeon Open Compute Platform）以及非盈利組織Khronos Group推出的OpenAI。

林達(dá)舉例回復(fù)稱(chēng)：“跟你買(mǎi)螺絲、扳手一樣。你也可以不通用，但是沒(méi)人陪你玩啊。AMD也搞了個(gè)，但是自己都不用。”

軟件生態(tài)無(wú)可替代

與非網(wǎng)資深行業(yè)分析師張慧娟向記者解釋道：“英偉達(dá)2006年就推出CUDA了。正是CUDA的推出，降低了GPU的應(yīng)用門(mén)檻。軟件開(kāi)發(fā)者可以通過(guò)CUDA使用C/C++等語(yǔ)言，來(lái)編寫(xiě)GPU片上程序，降低了GPU的應(yīng)用門(mén)檻。也是從那時(shí)開(kāi)始，GPU逐漸脫離了圖像處理這一單一用途。它不僅僅可以用于圖像處理，也可以用于高性能計(jì)算。”

簡(jiǎn)單說(shuō)，CUDA降低了GPU的門(mén)檻，使得GPU的應(yīng)用領(lǐng)域從圖像渲染拓展到方方面面，真正成為通用型處理器，因此也有了GPGPU（通用圖形處理器）的說(shuō)法。

“英偉達(dá)所有架構(gòu)都在CUDA之上，一直從頭走到現(xiàn)在，包含了很多層級(jí)在里面，包括編譯器、調(diào)試器、豐富的庫(kù)函數(shù)、各種軟件工具，是很龐大的資源。假設(shè)現(xiàn)在有一個(gè)新的硬件平臺(tái)，但是不兼容CUDA，那么對(duì)開(kāi)發(fā)者來(lái)說(shuō)就意味著大量的軟件移植工作。因此一些平臺(tái)可能會(huì)選擇兼容CUDA，也就是CUDA加速的軟件可以跑在他的硬件上，不過(guò)實(shí)際的效率和性能表現(xiàn)，都有待觀察，這也是CUDA生態(tài)環(huán)境的強(qiáng)大之處。”張慧娟補(bǔ)充表示。

國(guó)內(nèi)頭部GPGPU廠商工程師劉默（化名）6月5日告訴記者：“經(jīng)過(guò)多年的建設(shè)，英偉達(dá)的CUDA已經(jīng)有400萬(wàn)開(kāi)發(fā)者，基本形成了壟斷態(tài)勢(shì)的生態(tài)壁壘，而軟件生態(tài)恰恰是下游客戶最為重視的產(chǎn)品競(jìng)爭(zhēng)要素，這是英偉達(dá)相對(duì)于AMD、Intel以及其他初創(chuàng)企業(yè)的最大優(yōu)勢(shì)。”

既然CUDA如此重要，其他廠商可以提供自己的硬件，然后使用CUDA生態(tài)嗎？

在這個(gè)問(wèn)題上，劉默認(rèn)為：“CUDA是一個(gè)完全封閉的系統(tǒng)，目前可以真正兼容CUDA，或者說(shuō)叫使用CUDA的企業(yè)（除英偉達(dá)自身外）就AMD一家，AMD和英偉達(dá)之間有相關(guān)的IP授權(quán)，這樣英偉達(dá)的MI系列GPGPU可以使用CUDA。但其他初創(chuàng)企業(yè)都不能直接使用CUDA。目前初創(chuàng)企業(yè)有兩種思路，第一種往往是AMD系出來(lái)創(chuàng)業(yè)的企業(yè)，由于其芯片架構(gòu)類(lèi)似AMD的產(chǎn)品，因此硬件條件上可以直接使用CUDA，但由于IP的問(wèn)題，對(duì)方會(huì)在CUDA的基礎(chǔ)上微調(diào)出自己的軟件棧，這種雖然便于用戶從CUDA環(huán)境遷移過(guò)去，但存在IP的風(fēng)險(xiǎn)；第二種就是完全原創(chuàng)的軟件棧，這種最大的問(wèn)題就是客戶存在一定的遷移成本，對(duì)商業(yè)落地產(chǎn)生負(fù)面影響。”

電子創(chuàng)新網(wǎng)CEO張國(guó)斌也對(duì)記者表示：“讓NVIDIA自己開(kāi)放CUDA硬件，以便其他廠商將CUDA集成到自己的芯片中，并運(yùn)行自己為CUDA開(kāi)發(fā)的軟件，這種可能性是沒(méi)有的，黃仁勛已經(jīng)徹底否定了，畢竟CUDA在這方面是領(lǐng)先對(duì)手的，NVIDIA不可能將自己的優(yōu)勢(shì)開(kāi)放給其他廠商甚至對(duì)手。”

跑吧！無(wú)論如何都要保持奔跑

在演講中，黃仁勛寄語(yǔ)學(xué)子：“你們即將進(jìn)入一個(gè)正在經(jīng)歷巨大變革的世界，就像我畢業(yè)時(shí)遇到個(gè)人電腦和芯片革命時(shí)一樣，你們正處于AI的起跑線上。每個(gè)行業(yè)都將被革命、重生，為新思想做好準(zhǔn)備。不論是為了食物而奔跑，或不被他人當(dāng)做食物而奔跑。你往往無(wú)法知道自己正處在哪一種情況，但無(wú)論如何，都要保持奔跑。”

李國(guó)強(qiáng)表示：“英偉達(dá)很早就開(kāi)始進(jìn)入GPU的研發(fā)，且長(zhǎng)期專(zhuān)注于GPU。在AI領(lǐng)域，需要的是高算力并行計(jì)算，最適合的就是GPU。（英偉達(dá)）核心產(chǎn)品還是GPU，別的東西也有嘗試，后來(lái)都是慢慢退出。”

此外，英偉達(dá)所建立的優(yōu)勢(shì)，并不局限于CUDA生態(tài)，還有硬件架構(gòu)與制程。張慧娟表示：“對(duì)于所有芯片而言，硬件架構(gòu)是基礎(chǔ)，它就像房子的框架。比如H100，就采用最新一代Hopper架構(gòu)，該架構(gòu)針對(duì)大模型就有一些跨單元的協(xié)同計(jì)算，擁有更好的加速能力。其最新推出的GH200，則屬于異構(gòu)集成架構(gòu)，它采用英偉達(dá)自己的Grace CPU和H100 GPU，在CPU和GPU中間采取自己的NVLink互連技術(shù)。這樣的架構(gòu)解決了很多數(shù)據(jù)傳輸?shù)钠款i，把CPU與GPU之間的帶寬大大提高了。”

這兩款產(chǎn)品，是英偉達(dá)即將推出的新品。目前全球大模型訓(xùn)練，使用最多的仍是英偉達(dá)A100。張慧娟認(rèn)為：“A100采用的還是上一代的安倍架構(gòu)，這個(gè)架構(gòu)也針對(duì)AI提升了它的計(jì)算性能吞吐量，包括更大的內(nèi)存、更高的帶寬，這些對(duì)于大規(guī)模計(jì)算都是必不可少的。我們只是看了最新兩代的架構(gòu)，再往前看，英偉達(dá)從面向游戲，到面向高性能計(jì)算，一代一代架構(gòu)演進(jìn)，這對(duì)它來(lái)講是非常重要的。”

來(lái)源：每經(jīng)記者 朱成祥 作圖

英特爾曾施行Tick-Tock（一年升級(jí)制程、一年升級(jí)）策略，后因制程長(zhǎng)期卡在10納米而難以推行。而英偉達(dá)，從2008年推出特斯拉架構(gòu)，到2022年推出Hopper架構(gòu)，一共推出9代架構(gòu)，甚至不到兩年就推出一代架構(gòu)。此外，由于跟臺(tái)積電的密切合作，英偉達(dá)使用的制程一直是最先進(jìn)的。

頭豹研究院TMT行業(yè)高級(jí)分析師陳文廣告訴記者：“H100 采用了臺(tái)積電 4nm 工藝，集成了 800 億個(gè)晶體管，比上一代A100足足多了260億個(gè)，是目前全球范圍內(nèi)最大的加速器；其CUDA核心數(shù)量則飆升到了前所未有的16896個(gè)，達(dá)到A100的2.5倍。浮點(diǎn)計(jì)算和張量核心運(yùn)算能力也隨之翻了至少3倍，比如FP32就達(dá)到了達(dá)到60萬(wàn)億次/秒。更重要的是，H100面向AI計(jì)算，針對(duì)Transformer搭載了優(yōu)化引擎，使大模型訓(xùn)練速度直接提升了6倍以上。這意味著，無(wú)論是訓(xùn)練1750億參數(shù)的GPT-3 ，還是3950億參數(shù)的Transformer大模型，H100都能將訓(xùn)練時(shí)間從之前的一周縮短到1天之內(nèi)。這些突破性的技術(shù)創(chuàng)新幫助英偉達(dá)保持在高端芯片市場(chǎng)的絕對(duì)領(lǐng)導(dǎo)地位。”

或許，就如同黃仁勛所言，英偉達(dá)“一直在奔跑”。其對(duì)學(xué)子們表示：“無(wú)論是什么，像我們一樣全力以赴去追求它，跑吧！不要慢慢走。”

是的，跑吧！不要慢慢走。正是在不斷奔跑中，英偉達(dá)逐步站上全球芯片之巔。在GPU領(lǐng)域，曾經(jīng)的王者3DX、ATI陸續(xù)被收購(gòu)，唯有英偉達(dá)屹立不倒。在GPU軟件生態(tài)中，也涌現(xiàn)出微軟DirectX、ATI Stream，但在這場(chǎng)長(zhǎng)跑中，勝者屬于CUDA。

而專(zhuān)注，或許是英偉達(dá)能從長(zhǎng)跑中勝出的原因。微軟的重心不在GPU軟件生態(tài)，ATI被AMD收購(gòu)之后，AMD也更傾向于CPU與GPU的異構(gòu)協(xié)同。軟件是這樣，硬件同樣如此。在李國(guó)強(qiáng)看來(lái)，英特爾、AMD都是橫跨CPU、GPU和FPGA的龍頭，而英偉達(dá)長(zhǎng)期專(zhuān)注GPU。

誰(shuí)能撼動(dòng)英偉達(dá)？

長(zhǎng)期專(zhuān)注、不斷奔跑，奠基了英偉達(dá)芯片帝國(guó)的霸業(yè)。而在異構(gòu)計(jì)算大潮下，英偉達(dá)也布局多類(lèi)型芯片。比如前文提及的GH200，就融合了英偉達(dá)基于ARM架構(gòu)的CPU和自身GPU。除此之下，英偉達(dá)還通過(guò)收購(gòu)，推出DPU產(chǎn)品。

2020年上半年，英偉達(dá)以69億美元對(duì)價(jià)收購(gòu)以色列網(wǎng)絡(luò)芯片公司Mellanox Technologies，并于同年推出BlueField-2 DPU，將其定義為繼CPU、GPU之后的“第三顆主力芯片”。

CPU、GPU人們已經(jīng)比較熟悉，DPU又是做什么的？據(jù)英偉達(dá)官網(wǎng)，DPU是一個(gè)用于數(shù)據(jù)中心基礎(chǔ)設(shè)施的先進(jìn)計(jì)算平臺(tái)，可大規(guī)模提供加速的軟件定義網(wǎng)絡(luò)、存儲(chǔ)、安全和管理服務(wù)。

張慧娟向記者解釋?zhuān)?ldquo;隨著數(shù)據(jù)量越來(lái)越大，使用傳統(tǒng)的CPU處理已經(jīng)跟不上數(shù)據(jù)的爆發(fā)。尤其是短視頻、視覺(jué)類(lèi)應(yīng)用，數(shù)據(jù)量是爆炸式、指數(shù)級(jí)增長(zhǎng)的，DPU應(yīng)運(yùn)而生。此前，一些FPGA廠商也在進(jìn)行這方面的探索，自英偉達(dá)收購(gòu)了這家DPU公司之后，DPU這個(gè)市場(chǎng)被迅速帶火了，AMD（2022年斥資19億美元）收購(gòu)DPU芯片廠商Pensando，國(guó)內(nèi)也涌現(xiàn)出好幾家DPU創(chuàng)業(yè)公司。”

在這輪“第三顆主力芯片”大潮中，英偉達(dá)也在構(gòu)建自身的軟件生態(tài)，其于2021年推出DOCA。

何為DOCA？英偉達(dá)簡(jiǎn)單直接地解釋道：“DOCA之于DPU，正如CUDA之于GPU。”

“如果說(shuō)CUDA是GPU的靈魂，那么DOCA就是DPU的靈魂。因?yàn)樾酒绻麤](méi)有好用的軟件配合，就是一個(gè)（干巴巴的）硬件。就如同手機(jī)，假如沒(méi)有豐富的APP，可能就只能打電話。正是因?yàn)橛辛塑浖?，讓開(kāi)發(fā)者開(kāi)發(fā)出各種各樣的應(yīng)用，硬件的應(yīng)用才如此豐富。”張慧娟表示。

通過(guò)硬件架構(gòu)和軟件生態(tài)，英偉達(dá)已經(jīng)在GPU領(lǐng)域構(gòu)建強(qiáng)大的壁壘。在DPU領(lǐng)域，英偉達(dá)似乎也要如法炮制。

誰(shuí)能撼動(dòng)英偉達(dá)的地位呢？目前可能還沒(méi)有。“除非英偉達(dá)自己出現(xiàn)重大失誤，但是這樣的可能性很小。”張國(guó)斌表示。

劉默認(rèn)為：“AMD的MI300是目前從硬件水平和軟件生態(tài)上最接近H100的產(chǎn)品，無(wú)論是國(guó)外的初創(chuàng)公司例如Graphcore，還是國(guó)內(nèi)的幾家企業(yè)，目前還沒(méi)有能夠替代英偉達(dá)H100的產(chǎn)品。此外，英偉達(dá)依靠其巨大的出貨量以及在芯片制造上的投入，已經(jīng)和臺(tái)積電形成了緊密的合作，而非簡(jiǎn)單的客戶與供貨商關(guān)系。比如H100使用的4nm制程，就是英偉達(dá)和臺(tái)積電在公版5nm制程的基礎(chǔ)上進(jìn)行優(yōu)化后的特制版本。”

曾經(jīng)在桌面CPU領(lǐng)域，英特爾也是一騎絕塵。因?yàn)轭I(lǐng)先太多，還有“i3默秒全”的說(shuō)法，即i3在默認(rèn)頻率下就能秒AMD全系列。然而AMD在蘇姿豐的帶領(lǐng)下，如今已成功與英特爾平分秋色。

AMD還能在GPU領(lǐng)域上演奇跡嗎？李國(guó)強(qiáng)認(rèn)為：“確實(shí)存在這種可能。但英特爾之所以會(huì)被AMD趕上來(lái)，根本性原因在于其在晶圓制造技術(shù)上。當(dāng)時(shí)英特爾在10納米節(jié)點(diǎn)停滯了，但AMD是Fabless模式，通過(guò)與臺(tái)積電合作才翻身。而英偉達(dá)本身就和臺(tái)積電密切合作。”

一直在奔跑的英偉達(dá)，一直在奔跑的黃仁勛，誰(shuí)又能顛覆呢？

封面圖片來(lái)源：視覺(jué)中國(guó)-VCG31N1237120515