新模型讓AI說話前學會思考｜專家論點【Howie Su】

作者：Howie Su（產業分析師）

說話前先思考，人工智慧做得到嗎？

人類天生具有推理能力：「如果」和「為什麼」以及「讀懂字裡行間」和推斷未陳述資訊的能力，對於我們解決問題的能力都至關重要。到目前為止，人工智慧模型自然在這一領域舉步維艱，但來自史丹佛大學和 Notbad AI. 的研究人員指出，他們已經教導人工智慧模型在響應提示之前進行思考，如同大多數人在說話之前會思考該說什麼一樣，怎麼做到的？

研究人員推出「Quiet-STaR」，Quiet-STaR 為自學推理器（STaR）模型的擴展，它在廣泛的互聯網數據語料庫上進行訓練，並學習為每個標記生成基本原理，以解釋未來的文本並改進預測。

迄今為止人工智慧推理的不足之處

以前幫助語言模型從推理中學習的方法更加集中且不太通用：人工智慧經過訓練可以解決依賴精心策劃的資料集的單一任務或預定義任務集。例如，Quiet-STaR 開發人員指出，在回答多項選擇題之前，經過微調以輸出人類推理痕蹟的預訓練語言模型優於直接根據答案訓練的人工智慧，模型可以產生思路鏈解決方案，而無需額外的監督。

此外，研究人員「強迫」模型使用思考鏈推理，阻止模型在完全不思考的的情況下回答，STaR 證明了模型可以在問答資料集上「引導」其推理能力。他們可以採樣基本原理來嘗試回答問題，如果這些基本原理能得出正確的答案，則可以對這些基本原理進行訓練，並迭代地重複以解決越來越困難的問題，當然，從問答中的少數例子推斷基本原理是一種「高度受限的環境」，理想情況下，語言模型可以學習推斷任意文本中未闡明的基本原理，這也是目前正在努力的方向。

請「安靜」思考

史丹佛大學和 Notbad AI, Inc. 的研究人員將他們的技術稱為 Quiet-STaR，因為它「安靜地」應用 STaR，讓人工智慧將資訊自行內化後再提出看法，該方法在每個標記上並行產生許多內在想法，以在回應提示之前解釋未來的文本（即「思考」的過程），當人工智慧最終給出答案時，它會產生帶有或不帶有理由的混合預測。然後應用REINFORCE演算法；在強化學習中，這會收集一個情節中的樣本來更新策略參數以及思考開始和思考結束嵌入，這有助於增加人工智慧準確預測未來文本的可能性。

原理是，研究人員優化了參數，以增加未來更可能出現文字的可能性，強化技術根據其對未來預測的影響為基本原理提供「學習訊號」，為了幫助減少方差，研究人員還引入了「教師強制」技巧，確保神經網路盡可能接近真實序列。

最終，「Quiet-STAR 代表能夠以通用且可擴展的方式，向學習推理的語言模型邁出一步。」未來的工作可以建立在這些見解的基礎上，進一步縮小語言模型和類人推理能力之間的差距，也讓人工智慧更擬人。

瀏覽 380 次