硬件短缺真的會拖累人工智能革命嗎？在OpenAI首席執(zhí)行官山姆·奧特曼和特斯拉首席執(zhí)行官埃隆·馬斯克抱怨GPU(圖形處理器)不夠用之后，這個事實越來越明顯。

　　中國多家互聯(lián)網(wǎng)巨頭正在搶購對構(gòu)建生成式人工智能系統(tǒng)至關(guān)重要的高性能英偉達(dá)(Nvidia)芯片，訂單價值總計約50億美元。

　　知名科技博客GPU Utils最近對GPU短缺問題進行了一項深入調(diào)查，證實了科技巨頭的擔(dān)憂。通過與國外各大云服務(wù)和GPU提供商高管的對話，博客主克雷·帕斯卡爾(Clay Pascal)寫道：“我被告知，對于需要100或1000塊(英偉達(dá)GPU)H100的公司來說，Azure(微軟云服務(wù))和GCP(谷歌云服務(wù))實際上已經(jīng)沒有容量了，亞馬遜也接近沒有容量了。”

　　據(jù)《金融時報》8月10日報道，多位熟知內(nèi)情的消息人士透露，百度、字節(jié)跳動、騰訊和阿里巴巴已向英偉達(dá)共訂購價值10億美元的A800處理器，將于今年交付。兩位與英偉達(dá)關(guān)系密切的人士說，這些中國企業(yè)還購買了價值40億美元的GPU，將于2024年交付。

　　隨著生成式人工智能爆火，英偉達(dá)的GPU因為能為開發(fā)大型語言模型提供算力，已成為全球科技行業(yè)最熱門的商品。一位英偉達(dá)經(jīng)銷商此前表示，經(jīng)銷商們手中的A800價格上漲了50%以上。

　　A800是英偉達(dá)用于數(shù)據(jù)中心的尖端A100 GPU的弱化版本。由于美國去年實施的出口限制，中國的科技公司只能購買數(shù)據(jù)傳輸速率低于A100的A800。

　　據(jù)兩位接近字節(jié)跳動的人士透露，字節(jié)跳動有許多小團隊正在開發(fā)各種生成式人工智能產(chǎn)品，其中包括一個代號為Grace的人工智能聊天機器人，目前正在進行內(nèi)部測試。

　　今年早些時候，字節(jié)跳動為其社交媒體應(yīng)用TikTok測試了一個生成式人工智能功能，名為TikTok Tako，授權(quán)使用OpenAI的ChatGPT。

　　兩位直接了解情況的員工表示，字節(jié)跳動已經(jīng)儲備了至少1萬塊英偉達(dá)GPU，還訂購了近7萬塊A800芯片，將于明年交付，價值約7億美元。

　　目前，字節(jié)跳動利用儲備的英偉達(dá)A800和A100提供云計算設(shè)備。6月，該公司發(fā)布大模型服務(wù)平臺“火山方舟”，供企業(yè)試用不同的大語言模型服務(wù)。

　　騰訊云在4月發(fā)布了專為大模型訓(xùn)練設(shè)計的新一代HCC高性能計算集群，供他人租用計算能力，采用了英偉達(dá)H800 GPU，這是英偉達(dá)最新的H100型號在中國的改良版，可以為大型語言模型訓(xùn)練、自動駕駛和科學(xué)計算提供動力。

　　據(jù)兩位接近阿里巴巴的人士透露，阿里巴巴云也從英偉達(dá)收到了數(shù)千塊H800芯片，許多客戶已經(jīng)聯(lián)系該公司，尋求由這些芯片驅(qū)動的云服務(wù)。

　　針對《金融時報》的這一報道，英偉達(dá)、百度、字節(jié)跳動、騰訊和阿里巴巴拒絕發(fā)表評論。

　　在國外，大多數(shù)人工智能開發(fā)者都通過亞馬遜和微軟等科技公司的云服務(wù)獲得頂級處理器。但根據(jù)GPU Utils的深度調(diào)查，現(xiàn)在情況發(fā)生了變化，一位匿名員工告訴帕斯卡爾，現(xiàn)在的情況“就像20世紀(jì)70年代的大學(xué)主機一樣”供應(yīng)緊張。人工智能公司甚至用GPU作為抵押來擔(dān)保他們的債務(wù)。

　　調(diào)查稱，目前最被需要的GPU是英偉達(dá)的H100，因為它對于大模型的推理和訓(xùn)練來說都是速度最快的，通常也是推理方面性價比最高的。匿名人士稱：“我的分析是，(H100)做同樣的工作也更便宜。如果你能找到V100，那它就很劃算了，但你卻找不到?！?

　　對于大模型訓(xùn)練來說，內(nèi)存帶寬、浮點運算次數(shù)、緩存和緩存延遲、互連速度等是重要的因素。H100比A100更受青睞，部分原因是緩存延遲較低和具有FP8計算功能等。

　　除了英偉達(dá)，芯片巨頭AMD也在生產(chǎn)GPU，但一位私有云公司的高管表示：“理論上，一家公司可以購買一堆AMD的GPU，但要讓一切正常運轉(zhuǎn)需要時間。開發(fā)時間(即使只有兩個月)可能意味著比競爭對手更晚進入市場。所以CUDA現(xiàn)在是英偉達(dá)的護城河。”CUDA是英偉達(dá)推出的只能用于自家GPU的并行計算框架。

　　調(diào)查稱，目前谷歌云擁有大約2.5萬塊H100，微軟云服務(wù)Azure可能有1萬-4萬塊H100，甲骨文的情況應(yīng)該類似。Azure的大部分容量都將流向OpenAI。對于H100的需求，OpenAI可能需要5萬塊，Meta可能需要2.5萬塊，大型云廠商可能每家都需要3萬塊，加上其他一些初創(chuàng)企業(yè)，可能總共需要大約43.2萬塊H100。以每塊約3.5萬美元計算，所需GPU的價值約為150億美元。這還不包括像字節(jié)跳動(TikTok)、百度和騰訊這樣需要大量H800的中國公司。

　　“因此，供應(yīng)短缺可能需要一段時間才能消失。但我的所有估計都可能被嚴(yán)重夸大了，其中許多公司今天不會立即購買H100，他們會隨著時間的推移進行升級。此外，英偉達(dá)正在積極提高產(chǎn)能。”帕斯卡爾寫道。

　　但帕斯卡爾也指出，芯片巨頭臺積電還無法生產(chǎn)足夠多的高端GPU。目前，臺積電是H100的唯一生產(chǎn)商。英偉達(dá)未來也可能和芯片制造商英特爾與三星合作，但在短期內(nèi)不會解決供應(yīng)緊張。

　　一位退休的半導(dǎo)體行業(yè)專業(yè)人士認(rèn)為，臺積電的瓶頸不是晶圓開工，而是CoWoS(3D堆疊)封裝。

　　此外，影響內(nèi)存帶寬的HBM(高帶寬內(nèi)存)也是生產(chǎn)難點，HBM主要由韓國廠商生產(chǎn)。當(dāng)?shù)貢r間8月8日，英偉達(dá)宣布推出世界上第一個配備HBM3e內(nèi)存的GPU芯片——下一代版本的GH200 Grace Hopper超級芯片，將于2024年二季度上市。HBM3e內(nèi)存比當(dāng)前一代GH200中的HBM3技術(shù)快50%。

　　英偉達(dá)表示今年下半年將會有更多供應(yīng)，但除此之外沒有透露更多信息，也沒有提供任何定量信息。與此同時，一位私有云公司的高管認(rèn)為，稀缺性導(dǎo)致GPU容量被視為護城河，從而導(dǎo)致更多的GPU囤積，又加劇稀缺性。

　　這份調(diào)查報告預(yù)計，至少到2023年底，H100的部署將出現(xiàn)大量短缺。屆時情況將會更加清晰，但目前看來，短缺情況可能還會持續(xù)到2024年的部分時間。

（本站文章均來自互聯(lián)網(wǎng)或者網(wǎng)友投稿，如您發(fā)現(xiàn)有文章有不準(zhǔn)確的地方可以第一時間聯(lián)系我們進行修改或刪除，感謝您的理解和支持。）

【聯(lián)系QQ:21241043】