Google成立紅隊 測試人工智慧系統的攻擊
編譯/Cynthia
近日,Google宣佈成立AI紅隊,專注於針對人工智慧系統進行複雜的技術攻擊。這支AI紅隊的出現,讓人們對人工智慧安全性的議題再度聚焦。該公司的AI紅隊除了與傳統紅隊密切合作外,更具備必要的AI專業知識,以模擬對人工智慧系統可能造成的真實威脅,並尋找解決方案。
![](https://www.technice.com.tw/wp-content/uploads/2023/07/171144701_fb-link-2-1024x535.jpg)
在Google報告中,他們特別強調紅隊測試對於AI系統的重要性。報告提供了多個例子,展示AI系統可能面臨的攻擊,其中包括針對郵件偵測的攻擊,這種攻擊利用AI來自動檢測釣魚郵件,但駭客可以通過添加看不見的段落,欺騙AI將惡意郵件分類為合法。同時,報告還指出AI模型的訓練數據可能包含個人資訊,導致潛在的隱私風險。
更多新聞:欺詐信件 AI工具輕鬆生成「極具說服力」
AI紅隊還發現一種稱為提示工程的攻擊方法,這種攻擊操縱AI系統的提示,使其按照駭客期望的方式回應。報告中舉例,一名學生利用AI來評分論文的模型,進行巧妙的操作。即使該模型能夠防止提示注入,但由於訪問權限未加限制,該學生仍能夠訓練模型,讓包含特定單詞的論文得到最高評分。這些攻擊例子證明了AI系統的脆弱性,並顯示出AI安全性的迫切需求。
Google的報告向其他組織提供警示,他們鼓勵傳統紅隊與AI專家聯手合作,進行真實的對抗模擬。同時,報告指出解決紅隊發現的問題可能具有挑戰性,並可能需要綜合多個安全模型來應對不同的攻擊。傳統安全控制措施對於緩解許多風險非常有效,但AI系統的複雜性意味著需要更多全面的保護措施。AI紅隊的成立將有助於保護人工智慧系統免受日益增加的安全威脅,使這項技術能夠持續為社會帶來更多益處。
資料來源:SecurityWeek
瀏覽 7,979 次