解決人工智慧幻覺問題　輝達推出新軟體

編譯／莊閔棻

日前，半導體公司輝達（Nvidia ）宣布了新的軟體，其將可以幫助軟體製造商防止人工智慧模型給出錯誤答案、談論有害的主題，或造成安全漏洞。

根據《CNBC》的報導，為了解決最新一代大型語言模型的「幻覺 」問題，輝達提供了一個名為「NeMo Guardrails」的軟體。NeMo Guardrails可以強迫LLM聊天機器人談論特定的話題，並阻止有毒內容，和防止LLM系統在電腦上執行有害的命令。

據報導，Nvidia的新軟體可以透過添加防護機制來防止軟體處理它不應該處理的話題。作為一個位於用戶和大型語言模型或其他人工智慧工具之間的軟體，NeMo Guardrail可以在模型做出回應之前阻止不良結果或不良提示。Nvidia應用研究副總裁Jonathan Cohen說：「你可以寫一個程式碼，並下指令說，如果有人談論某話題，無論如何都要這樣（照程式碼的指令）回應。」也就是說，用戶不用面對「未知」的人工智慧模型運作方式，而是可以有一個「防護機制」，並可以預測會發生什麼事。

作為範例，Cohen提到：「如果有一個面向客戶的聊天機器人，其主要目的是談論你的產品，因此，當你希望它回答關於競爭對手的問題時，你就可以把對話引回到你想提的話題上。」Nvidia還提供了另一個關於企業內部資料防護的例子。在這個例子中，Nvidia能夠添加「防護機制」，這樣基於ChatGPT的機器人就不會回答有關該公司財務業績的問題，也不會訪問有關其他員工的私人數據。

不只如此，該軟體還能夠使用LLM來檢測幻覺，並要求另一個LLM對第一個LLM的答案進行事實核查。如果該模型沒有得出匹配的答案，它就會回覆「我不知道」。Nvidia還表示說，guardrails軟體可以強制LLM模型只與特定的第三方軟體互動。NeMo Guardrails是開源的，透過Nvidia服務提供，並可用於商業應用。

為了讓大型語言模型可以給出類似人類的回應，微軟的GPT支持的OpenAI和Google的LaMDA都在大量數據上進行訓練。不過，因為數據被模型消化的方式不可預測，因此創造出非事實回應一直都是人工智慧的一個問題，而這通常被大家稱為 「幻覺」。對於現在來說，解決「幻覺」問題已經成為人工智慧界中的一大重點。

參考資料：CNBC

瀏覽 809 次