AI技術發展的瓶頸｜專家論點【張瑞雄】
作者：張瑞雄 台北商業大學前校長/叡揚資訊顧問
在當前的人工智慧發展中，一個重要的話題是「擴展定律」是否仍然有效。在 GPT-4 於 2023 年推出後，這個規律得到了進一步驗證：更大的模型似乎能帶來更高的性能。儘管外界預期 OpenAI 會迅速推出更大、更強的 GPT-5，但距離 GPT-4 的發布已有 18 個月，OpenAI 仍未發布 GPT-5，且執行長Sam Altman 明確表示今年不會推出名為 GPT-5 的模型。反之，OpenAI 近來發布的幾個新模型，像是 GPT-4o 和 o1，性能雖然不俗，但未必比 GPT-4 大，甚至可能更小。
這一趨勢並非 OpenAI 獨有，谷歌和 Anthropic 等其他 AI 實驗室也選擇優化其小型和中型模型，例如谷歌的 Pro 1.5、Flash 1.5 以及 Anthropic 的 Sonnet 3.5、Haiku 3.5，而它們最大的模型更新則遲遲未見。這不禁讓許多專家開始懷疑擴展定律是否已失去效力。
根據《The Information》報導，OpenAI 內部對其下一代代號為 Orion 的模型性能並不滿意，雖然 Orion 的性能優於之前的模型，但與 GPT-3 到 GPT-4 之間的進步相比，增長幅度明顯縮小。彭博社的報導也指出，Google 的 Gemini 和 Anthropic 的 3.5 Opus 同樣未達到內部預期。在這些背景下，AI 實驗室面臨著技術上的瓶頸，擴展模型已無法帶來顯著的性能提升。
OpenAI 的聯合創辦人 Ilya Sutzkever 表示，過去是「擴展的時代」，而現在又回到「探索與發現的時代」。這段話揭示了一個關鍵點：單純通過擴展模型來提升性能的策略或已接近極限。隨著模型的規模增大，回報卻在逐漸遞減，AI 實驗室可能需要在架構上進行突破，而不只是依賴單純的規模擴展。
這樣的情況讓人回想到去年 Google 推出 Gemini Ultra 時，性能增長也只是相對有限，未能顯著超越 GPT-4。現在越來越多的證據顯示，這可能是一種結構性的問題。要突破目前的瓶頸，或許需要重新思考語言模型的設計，特別是如何讓它們更有效地處理長篇且複雜的輸入內容，以及如何更深層地理解抽象概念。
這種「擴展瓶頸」在各大實驗室的探索中逐漸浮現，使得原本的擴展策略顯得不再足夠。AI 實驗室如 OpenAI、Google 和 Anthropic 等在追求更大、更強模型的過程中已逐步走向極限，未來或將需要在基礎技術上進行創新，突破目前大語言模型在架構和訓練方式上的限制。例如，在記憶體管理和長序列處理方面進行突破，讓模型能夠更有效地應對長文本，或以嶄新的推理技術使模型更接近人類的抽象推理能力。
此外，AI 的發展不僅僅是技術上如何擴展，也涉及到資源和成本的平衡。過度擴展模型不僅需要更大的硬體資源投入，訓練過程所需的能量消耗和碳排放也令人擔憂。AI 面臨的挑戰是如何在不無限制增加成本的情況下，找到有效的成長方式。這意味著未來的發展可能更加注重效率，透過更精細的模型調整、優化訓練方法來達成理想的性能，從而減少對硬體和計算資源的依賴。
這一趨勢帶來的啟示是，技術創新不僅在於「更大」，也在於「更精巧」。我們可能會看到未來的 AI 研究重心轉向新型架構，例如與類神經網路不同的混合架構或神經圖譜系統，以在推理和計算的基本層面上取得突破。同時，也可能會出現更多多模態 AI 的創新，以拓展模型處理視覺、聲音和文本等不同輸入的能力，使得模型不僅能夠模擬人類的文字輸出，也能整合視覺或其他訊息進行更全面的理解。
總結來說，當前的 AI 技術發展正面臨著一個「瓶頸期」，而單純透過擴展模型的成長方法已經不再能解決當前面臨的挑戰。AI 需要回到創新和探索的核心，開發新的技術和架構來推動下一波的進展。這將不僅僅是技術的進化，也是思維方式的轉變。AI 技術的發展必須在效能、資源和社會責任之間取得平衡，以達到真正的永續發展。
瀏覽 59 次
