為人工智能訓(xùn)練和推理建立數(shù)據(jù)中心的熱潮已經(jīng)導(dǎo)致市場瘋狂。例如，Credo上周上漲了 27%。Vicor 上漲了 30%，還有許多其他公司與 Nvidia 并駕齊驅(qū)，但在筆者看來，他們都不值得今天的受益，而且另一方面，許多公司沒有得到他們應(yīng)得的適當榮譽。
IT 預(yù)算有限。它們可能會有所增加，但鑒于宏觀經(jīng)濟的不確定性，大多數(shù)企業(yè)的資本支出和運營支出最有可能必須保持固定。因此，Nvidia 銷售的主要繁榮直接來自購買較少的非 GPU 服務(wù)器。市場已經(jīng)認識到，由于 AI 支出的轉(zhuǎn)移，傳統(tǒng) CPU 的銷售將會疲軟。Nvidia 在今年余下時間的數(shù)據(jù)中心收入高于英特爾數(shù)據(jù)中心，這清楚地證明了這一點。
以上是僅標準 CPU 服務(wù)器的示范性成本明細。典型的 CPU 服務(wù)器差異很大，因此請務(wù)必認識到這只是我們認為高性能但高容量的負載。對于大量購買者而言，總成本約為 10,424 美元，其中包括原始設(shè)備制造商的約 700 美元利潤。內(nèi)存幾乎占服務(wù)器成本的 40%，每個插槽 512GB，總計 1TB。服務(wù)器周圍還有其他一些內(nèi)存，包括網(wǎng)卡、BMC、管理網(wǎng)卡等，但這些對于 DRAM 端的總成本來說是微不足道的。我們確實將這些組件包含在上下共享的 BOM 成本中。
NAND占總BOM的14.7%。不可否認，許多人已經(jīng)轉(zhuǎn)向網(wǎng)絡(luò)存儲，所以這個數(shù)字比更現(xiàn)代的架構(gòu)應(yīng)該有的數(shù)字要高得多，但這更多是因為其他服務(wù)器有大量的 NAND 和很少的其他東西。內(nèi)存作為一個整體的成本是傳統(tǒng)服務(wù)器部署成本的一半以上。值得一提的是，在這個成本計算中，我們忽略了網(wǎng)絡(luò)。
總的來說，雖然仍然會有很多普通服務(wù)器，但隨著人工智能時代的到來，它們的比例會降低。單位服務(wù)器的百分比將低得多，但以美元計算，差距是巨大的。隨著數(shù)據(jù)中心轉(zhuǎn)向加速計算，分配給各種組件的成本發(fā)生了巨大變化。Nvidia 的 DGX H100 售價約為 270,000 美元。下面的成本明細包括 Nvidia 在 GPU + Switch 基板和整個 DGX 服務(wù)器上的標記。
另外，我們還有一個 8 GPU + 4 NVSwitch 基板 BOM 成本明細，包括供電、內(nèi)存、組裝、冷卻、GPU 成本、CoWoS 成本、裸片成本、成品率成本、HBM 成本等。
Nvidia 每臺 DGX H100 的毛利潤接近 190,000 美元。當然，研發(fā)和其他運營費用會降低很多。無論如何，盡管每臺服務(wù)器的 DDR5 內(nèi)存增長到 2TB，但這種巨大的利潤率伴隨著內(nèi)存成本占服務(wù)器百分比的巨大變化。前端網(wǎng)絡(luò)中還會有其他基于 CPU 和存儲的服務(wù)器，但在排除 HBM 時，AI 服務(wù)器本身分配給內(nèi)存的總成本不到 5%。
HBM 成本顯然非常重要，特別是考慮到 Nvidia 目前正在單一采購其所有 HBM3。我們在下面為訂戶分擔這些費用。
GPU一卡難求，專家：至少等六個月！
谷歌首席執(zhí)行官將人工智能革命比作人類對火的駕馭. 現(xiàn)在，要是這個行業(yè)能夠確保數(shù)字引火物為其提供燃料就好了。
作為新一代人工智能系統(tǒng)生命線的先進芯片的短缺引發(fā)了一場鎖定計算能力和尋找解決方法的競賽。用于 AI 的圖形芯片或 GPU 幾乎全部由制造。但隨著ChatGPT 的病毒式成功，對它們的需求激增遠遠超過了供應(yīng)，ChatGPT 是一種能夠以類似人類的方式回答問題的聊天機器人。
“因為存在短缺，這與你認識的人有關(guān)，”Lamini 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Sharon Zhou 說，Lamini 是一家?guī)椭緲?gòu)建人工智能模型（如聊天機器人）的初創(chuàng)公司。“這就像大流行期間的衛(wèi)生紙。”
亞馬遜網(wǎng)站和等云服務(wù)提供商微軟可以向 ChatGPT 背后的公司 OpenAI 等客戶提供的處理能力。AI 開發(fā)人員需要服務(wù)器容量來開發(fā)和操作他們?nèi)找鎻?fù)雜的模型，并幫助其他公司構(gòu)建 AI 服務(wù)。
即使是世界上聯(lián)系最緊密的科技企業(yè)家也在努力確保產(chǎn)能。在 5 月 16 日關(guān)于 AI 的國會聽證會上，OpenAI 首席執(zhí)行官Sam Altman表示，由于處理器瓶頸，如果使用 ChatGPT 的人少一些會更好。
“在這一點上，GPU 比藥物更難獲得，” Elon Musk在 5 月 23 日告訴華爾街日報CEO 委員會峰會。
不過，成為馬斯克有其好處。知情人士稱，今年早些時候，急需甲骨文計算能力的初創(chuàng)公司突然被告知買家搶購了甲骨文的大部分備用服務(wù)器空間。知情人士說，初創(chuàng)公司被告知買家是馬斯克，他正在打造自己的 OpenAI 競爭對手 X.AI。
獲得數(shù)以萬計的高級圖形芯片對于培訓(xùn)可以生成原始文本和分析的大型 AI 模型的公司來說至關(guān)重要。創(chuàng)始人說，如果沒有它們，人工智能背后的大型語言模型的工作就會運行得慢得多。Nvidia 的高級圖形芯片擅長同時進行大量計算，這對于 AI 工作至關(guān)重要。
瑞銀分析師估計，較早版本的 ChatGPT 需要大約 10,000 個圖形芯片。馬斯克估計更新版本需要 Nvidia 先進處理器的三到五倍。
一些投資者正在梳理他們的網(wǎng)絡(luò)以獲得備用計算能力，而另一些投資者則在協(xié)調(diào)處理器和服務(wù)器容量的批量訂單，這些處理器和服務(wù)器容量可以在他們的 AI 初創(chuàng)公司之間共享。據(jù) AI 投資者和初創(chuàng)公司稱，初創(chuàng)公司正在縮小他們的 AI 模型以提高效率，他們購買自己的帶有相關(guān)圖形芯片的物理服務(wù)器，或者轉(zhuǎn)而使用甲骨文等不太受歡迎的云提供商，直到短缺問題得到解決。
其他創(chuàng)始人只是乞求亞馬遜和微軟的銷售人員獲得更多權(quán)力。
周說，她與一位前 Nvidia 工程師共同創(chuàng)立的 Lamini 擁有所需的芯片。她和接受《華爾街日報》采訪的許多其他創(chuàng)始人拒絕確切說明他們是如何獲得這些資產(chǎn)的。
“業(yè)界對 GPU 的需求強勁，”OpenAI 發(fā)言人表示，并補充說該公司致力于確保其客戶擁有所需的容量。
甲骨文和馬斯克沒有回應(yīng)置評請求。微軟和亞馬遜拒絕置評。
Nvidia 最近表示，它正在擴大供應(yīng)以滿足不斷增長的需求，但許多 AI 創(chuàng)始人預(yù)計短缺至少會持續(xù)到明年。對 Nvidia 產(chǎn)品的需求推動該公司股價上漲約 167%。芯片成本各不相同，但一些零售商以約 33,000 美元的價格出售 Nvidia 的高級 AI 芯片，盡管在需求旺盛的情況下它們可以在二級市場上獲得更高的價格。
一些公司正在封鎖云容量，因為擔心他們以后無法訪問它們。“人們現(xiàn)在只是繼續(xù)為它們付費，即使他們不需要它們，”Arthur 的首席執(zhí)行官 Adam Wenchel 說，該公司開發(fā)工具來保護公司免受數(shù)據(jù)泄露等 AI 風(fēng)險的影響。
創(chuàng)始人和投資者表示，能夠獲得計算能力的公司仍需等待數(shù)周才能使用它。Perplexity AI 的首席執(zhí)行官 Aravind Srinivas 說：“即使你已經(jīng)預(yù)付了費用，也不意味著 GPU 會在第二天或一周內(nèi)送到你這里來。”該公司構(gòu)建了一個人工智能驅(qū)動的對話搜索工具。“你只需要等待。”
服務(wù)器制造商及其直接客戶表示，他們需要等待六個月以上才能獲得 Nvidia 最新的圖形芯片。Supermicro的首席執(zhí)行官表示，該公司的圖形芯片系統(tǒng)訂單處于歷史最高水平，該公司正急于增加制造能力。
所有這些都為這些先進的芯片創(chuàng)造了二級市場，部分涉及大型加密公司，這些公司在繁榮時期購買芯片進行采礦，而現(xiàn)在在數(shù)字貨幣市場低迷的情況下不需要。
AI研究公司Generally Intelligent的首席執(zhí)行官邱侃君自去年以來一直在為自己的服務(wù)器購買先進的圖形芯片，以渡過當前的短缺。一位風(fēng)險投資家最近給她發(fā)消息，詢問她是否有閑置產(chǎn)能可以出租給其他初創(chuàng)公司。秋還沒有決定是否放棄她的芯片。
與此同時，OpenAI 的奧特曼和其他員工一直在處理來自在其平臺上構(gòu)建人工智能服務(wù)的公司的投訴。
為醫(yī)生開發(fā)人工智能助手的 Nabla 的首席執(zhí)行官兼創(chuàng)始人亞歷克斯勒布倫表示，OpenAI 的軟件可能需要長達兩分鐘的時間來響應(yīng)查詢。Nabla 使用 AI 自動生成筆記、推薦信和臨床建議，其客戶希望這些筆記能夠立即生成。
Lebrun 說，作為一種解決方法，Nabla 已經(jīng)構(gòu)建了一些更簡單的模型來更快地生成材料的初稿，然后依靠最新版本的 ChatGPT 進行最終調(diào)整。“優(yōu)秀的初創(chuàng)公司是那些學(xué)會如何解決所有這些限制的公司，”Lebrun 說，并補充說他直接向 Altman 提出了這些問題。
Altman 和其他 OpenAI 代表告訴創(chuàng)始人，該公司正在與其最大的投資者和數(shù)據(jù)中心提供商微軟合作解決這個問題。
【來源：半導(dǎo)體行業(yè)觀察】
