GPT-4變懶又變蠢！傳OpenAI正在重新設計GPT-4

編譯／莊閔棻

為了降低成本、提高回應能力，OpenAI似乎正在重新設計GPT-4。但與此同時，有很多 GPT-4 的用戶都紛紛出來抱怨該人工智慧（AI）聊天機器人的性能下降問題，他們認為，最近GPT-4與前一代的推理能力和其他輸出相比似乎「更懶」、「更笨」。

據外媒報導，造成此原因很可能是因為OpenAI正在對GPT-4進行所謂的「多專家學習」（Mixture of Experts, MOE）訓練法。也就是把模型分成好幾個較小的GPT-4 模型，讓這些較小的「專家模型」都接受不同任務和主題領域的訓練，如生物學家 GPT-4 、物理學家GPT-4，和化學家GPT-4等。 當 GPT-4 用戶提出問題時，新系統會知道要將該查詢發送給哪個專家模型。為了以防萬一，新系統可能會決定向兩個或多個專家模型發送查詢，然後將結果混合起來。

幫助開發人員建構訂製大型語言模型的新創公司Lamini 首席執行長 Sharon Zhou 就表示， OpenAI 似乎正在創建幾個，行為與大型模型類似，但運行成本較低的較小 GPT-4 模型。他說：「這個想法已經存在一段時間，這自然是AI發展的下一步。OpenAI 可能正在將GPT-4轉變為由較小船隻組成的艦隊」。

幾位AI專家也在 Twitter 上發布其聲稱是 GPT-4 架構的詳細資訊。 新創公司創始人 Yam Peleg 就在Twitter上表示，透過使用由 16 名專家組成的混合專家模型，OpenAI就能夠降低成本；開發人員兼駭客 George Hotz 也提到GPT-4 的「八種混合模型」。

但這些都還沒得到OpenAI的證實。艾倫AI研究所創始下兼首席執行長Oren Etzioni表示：「我推測這些猜測大致準確，但仍無法證實」。他解釋說，使用 MOE 方法有三個主要的技術原因：生成更好、更便宜、更快的回應。

參考資料：Insider

※更多ChatGPT相關訊息，請參考【生成式AI創新學院】。

瀏覽 21,359 次