使AI更準確的方法找到了！微軟的「LASER」技術是什麼？

編譯／莊閔棻

一個名為「層級選擇性降級」（Layer-Selective Rank Reduction、LASER）的方法正在使人工智慧（AI）大型語言模型更準確，日前微軟研究院論壇上，微軟紐約研究院和 AI Frontiers 的高級研究員 Dipendra Misra發表了更多解說。

「干預」模型

根據Misra， LASER允許研究人員對模型進行「干預」，將模型的「權重」陣列替換為一個更小的陣列，在特定層級上縮減模型的訓練內容。AI的「權重」（Weight）是指在神經網路模型中用來調整輸入特徵對輸出的影響程度的參數。「權重」重量越大，模型的依賴就越高，而根據測試結果，替換某些訓練內容並不一定會使模型失去準確度。

更多新聞：ChatGPT 中的 GPT是什麼？一文了解GPT、GPT-3.5與GPT-4

模型錯誤下降

Misra說，「我們正在使用 LASER 對大型語言模型進行干預。照理來說，隨著我們進行更多干預，使模型丟失更多訓練資訊，模型應該會表現不佳，但令我們驚訝的是，如果進行正確類型的LASER，模型的錯誤率不升反降。」

實驗結果

Misra表示，他的團隊成功地在三個不同的開源模型上使用了LASER，包括RoBERTa、Llama 2和Eleuther的GPT-J等大型語言模型。他說，有時模型的改進可提高20到30個百分點，例如GPT-J的預測準確度就從70.9％提高到97.5％。

參考資料：The Verge

瀏覽 497 次