據媒體報道,百度、字節跳動、騰訊和阿里巴巴等互聯網巨頭正爭相收購英偉達的高性能芯片,已訂購了價值10億美元的A800處理器,這些訂單價值50億美元,將于今年交付。此外,這些公司還采購了40億美元的英偉達圖形處理器(GPU),將于2024年交付。
不過,阿里巴巴集團董事會主席兼CEO張勇在財報溝通會上坦言,GPU在中國市場供應確實緊缺?!靶乱淮斯ぶ悄馨l展帶來的模型訓練和推理場景,對AI云服務的需求非常旺盛,但是由于短期內GPU在中國市場供應的緊缺,使得這樣的需求只得到了部分滿足,AI相關服務所帶來的增量機會剛剛開始得到釋放。”
有大模型創業公司高層向《科創板日報》透露,”相比5月份英偉達芯片上漲了百分之小幾十,A100和H100都已經買不到了。”
一家算力服務平臺的相關人員告訴《科創板日報》記者,當前算力資源較為緊缺,有幾百家企業都在排隊。
以AI應用“妙鴨相機”為例,其上線不到一個月,算力需求暴漲數百倍。據相關負責人透露,“妙鴨相機”已在阿里云上進行緊急擴容,應對暴漲數百倍的算力需求。雖然算力一邊加,但另一邊用戶也在漲,但高峰期排隊現象已經有了緩解。
“此前,大家對大模型訓練需要的算力關注較多,尤其是GPT類的模型訓練,動輒需要上萬張顯卡。”某資深人士分析,隨著Llama2等開源大模型的流行,大模型應用推理端的算力需求更值得關注。隨著各個行業的AIGC開發逐步完成,對業務開展階段使用的推理算力需求開始大幅增長,未來幾個月推理的算力需求總量可能遠高于訓練算力。
優刻得董事長兼CEO季昕華認為,未來對GPU的需求會繼續增長?!皣a大模型的玩家越來越多,算力需求越來越高漲,同時大模型訓練的數量、數據和參數越來越大,也導致需求越來越多。其中,對推理算力的需求會更大。
“這是因為推理和用戶數直接相關。目前,優刻得用于客戶訓練的GPU和推理的GPU的比例大概在3:7。假設三萬張卡做訓練的話,對應到七萬張卡做推理,這也是為何ChatGPT會限制大家使用和注冊,就是因為推理(的卡)不夠?!?季昕華說,“如今受限于整個供應鏈,全球缺貨。雖然我們能買,但是到貨時間會很難。此外,也受限于整個美國的政策,對A100和H100有限制。”
當下,已有不少國內企業入局AI芯片,包括華為昇騰、寒武紀、天數智芯、燧原科技、沐曦科技、壁仞科技等。
“國內真正已經參與大模型訓練的廠商,主要是華為昇騰、寒武紀?!币晃籄I專家指出?!捌渌鮿撈髽I的痛點,主要是生態上不夠成熟,但在細分領域可以落地,比如,燧原科技在某些領域的加速表現不錯。”
另有大模型創業者對《科創板日報》記者表示,目前已經與昇騰、燧原等國產芯片進行適配?!半m然距離英偉達高端芯片還需要加油,華為昇騰在國產芯片中已經很優秀了?!?
一位相關芯片技術人員則向記者強調,昇騰芯片在某些深度學習的特定場景上性能已經趕上英偉達。
天數智芯相關負責人則對記者表示,其產品已成功支撐大模型訓練、推理,取得一定程度的突破。此外,在數據中心、能源、教育以及醫療等方面都有訂單,整體銷售額已經突破5億。
“國產芯片和英偉達的差距主要在于生態和通信性能?!奔娟咳A指出,“現在大部分的人工智能方案都是基于英偉達的CUDA平臺,國產芯片需要兼容CUDA架構,對生態要求還是比較高的。其次,在整個通信的性能上仍有挑戰,推理今年能夠實現使用,但訓練方面還需要一點時間。不過進步非??臁N覀儸F在也積極地與國產GPU對接,能讓他們用起來。”
(本站文章均來自互聯網或者網友投稿,如您發現有文章有不準確的地方可以第一時間聯系我們進行修改或刪除,感謝您的理解和支持。)
【聯系QQ:21241043】