輝達推出超強AI晶片！黃仁勳：模型執行成本將大幅下降

編譯／莊閔棻

隨著人工智慧（AI）晶片競爭不斷加劇，晶片大廠輝達（NVIDIA）宣布推出一款旨在運行AI模型的超強新晶片GH200。輝達首席執行長黃仁勳表示，這款晶片將大大提升大型語言模型的推理能力，並讓推理成本「大幅下降」。

據外媒報導，輝達的GH200是首款結合中央處理器（CPU）與圖形處理器（GPU）的超級晶片，並結合該公司的 H100 GPU與CPU。輝達副總裁 Ian Buck 表示， GH200增加了高頻寬記憶體的數量，這將使該晶片能為更大的 AI 模型提供動力。經過優化後，該配置可以執行 AI 推理，並有效地為 ChatGPT 等生成式 AI提供支持。

更多新聞：OpenAI建1000 萬GPU AI模型　輝達、台積電聯手助攻

黃仁勳表示，過去需斥資1億美元打造資料中心，但改用GH200後，就可以省下12倍的成本，加上GH200超強大的運算能力，還能將耗能降低20倍。黃仁勳強調：「你可以將任何語言模型放進去，它就會瘋狂地進行推理，而且買越多、省越多」。

Nvidia 的新型 GH200 專為推理而設計，因為它具有更大的記憶體容量，允許更大的 AI 模型安裝在單個系統上。Nvidia 的 H100 擁有 80GB 記憶體，而新款 GH200 則為 141GB。 輝達還發布一個，可以將兩個 GH200 晶片組合成一台電腦、專為更大的模型而設計的系統。Buck 說：「擁有更大的記憶體容量可以讓模型在單個 GPU 上運行，而不必需要跨多個系統或多個 GPU 才能運行」。

黃仁勳表示，這款名爲GH200的超級晶片將於2024年第二季投產。他說：「我們正在增強這款處理器的性能，GH200是專為加速計算和生成式 AI 時代而打造的」。

使用AI模型的過程可以大致分為兩個部分：訓練和推理。AI需要使用大量數據訓練模型，但過程可能需要數月時間，有時需要數千個 GPU，例如輝達的 H100 和 A100 晶片。 然後，該模型在軟體中再使用稱為「推理」的過程生成內容。與訓練一樣，推理的計算成本也很高，並且每次軟體運行，如生成文本或圖像時，都需要大量處理能力。 參考資料：CNBC、Reuters

瀏覽 21,348 次