貴爆！ChatGPT 每天營運成本逾 70萬美元

編譯／莊閔棻

雖然訓練ChatGPT的大型語言模型可能需要花費數千萬美元，但在部署任何合理規模的模型時，經營費用或推論成本卻「遠遠超過訓練成本」，SemiAnalysis的分析師就說：「事實上，每週ChatGPT推論的成本都會超過培訓成本。」而現在微軟似乎也正努力要解決這個問題。

根據《Insider》的報導，半導體研究公司SemiAnalysis的首席分析師Dylan Patel表示，當我們使用ChatGPT來寫求職信、生成文章和整理資料時，可能會讓OpenAI每天花費高達70萬美元，因為人工智慧技術的基礎設施運作起來非常昂貴。而為了降低運行生成式人工智慧模型的成本，微軟正在開發名為「Athena」的人工智慧晶片。

人工智慧的運行之所以會很貴是因為，為了根據用戶的提示計算出回應，人工智慧模型如ChatGPT需要大量的計算能力。Patel說：「大部分成本都是圍繞著他們所需的昂貴的服務器。」Patel還說，比起他之前基於GPT-3模型的估計，現在的最新模型、GPT-4運行成本應該會更高。

多年來，使用OpenAI語言模型的公司也一直在支付高昂的價格。據報導，為了讓人工智慧在2021年回答數百萬用戶的查詢，一家使用人工智慧的新創遊戲公司Latitude，每個月就需要花費20萬美元，來運行模型和使用亞馬遜網路服務服務器。其首席執行長Nick Walton就說：「對於一家不是很大的新創公司來說，每個月在人工智慧數十萬美元，是一個非常龐大的成本。」

據報導，為了降低運行生成式人工智慧模型的成本，自2019年以來，微軟就開始開發一個名為「Athena」人工智慧晶片。該晶片背後的想法可能有兩個：一位知情人士表示，微軟的高層們似乎知道，他們在建立內部晶片的努力中落後於Google和亞馬遜，因此正盡力跟上；同時，據報導，微軟也正在為運行人工智慧模型的昂貴圖形處理器（GPU）尋找更便宜的替代品。

據悉，在近4年後的現在，大概有300多名微軟員工正在研究該晶片。消息人士說，該晶片可能最早會在明年發布，並供微軟和OpenAI內部使用。

參考資料：Business Insider

瀏覽 24,357 次