讓AI自主學習　Meta新訓練方法Toolformer解決痛點

記者／竹二

在ChatGPT成為目前最熱門的科技話題後，AI模型的局限性，像是沒有最新的資料、會對事實產生「訊息幻覺」、缺乏進行精確計算數學等問題，也開始令人注意，ChatGPT還在嘗試克服這些缺點，Meta卻已經用一篇新論文解套這些問題，這個方法被稱為「Toolformer」。

根據Meta的說法，要解決AI模型的局限性，就是讓AI自己使用外部工具，意思就是，如果AI沒有最新資訊，那就讓它自己搜尋最新的資料，如果不會算術，就去找計算機。Toolformer這個方法也克服了先前讓AI使用外部工具的障礙，在產生文字的過程中，遇到特定字詞或是特殊需求，就會直接呼叫工具的API，叫出搜尋引擎或是計算機。

Toolformer在經過優化後，可以自主決定要使用哪些API，或是使用哪些參數來運算或是查詢，這個的學習過程被稱為「自我監督」，研究人員只要讓語言模型學習少量人工編寫的API呼叫範例，再讓語言模型去生成更多包含這些範例的資料庫。

訓練的過程分成三個步驟，首先是取樣，把輸入到語言模型的文字當中可能會需要哪些工具，直接把要呼叫API的指令插入句子。再來是執行API指令，並把產生的答案插入對應的部分。最後是過濾，若是第二步所生成的文字對整句話的意義不大的話，就直接剔除，只保留整句話原本所需要的資訊。

研究人員指出，使用API可以得到更精準的輸出結果，語言模型自身使用外部工具的能力也可以解決常有的問題。雖說Toolformer所展現出「自學」能力還是個雛形，但也顯示出語言模型發展的下一步，就是要訓練它們知道在什麼時間、要用什麼工具。

瀏覽 1,109 次