AI欺騙了人類？研究揭示ChatGPT正確率不足5成記者／劉閔
美國普度大學近日的一項研究引發關注，揭示了人工智能(AI)模型幻覺問題在AI聊天機器人中的存在。研究表明，OpenAI所開發的ChatGPT在程式撰寫上的建議，其正確率不足五成，令人震驚。更令人意外的是，其中四成答案甚至難以被人類辨識出錯誤。
在過去，軟體工程師常常在撰寫程式遇到問題時，前往類似Stack Overflow的Q&A平臺尋求協助。然而，隨著OpenAI的ChatGPT問世，這一模式受到極大挑戰，因為工程師開始更傾向於求助於ChatGPT。普度大學的研究團隊發現這一現象，因此展開了一項針對ChatGPT在軟體工程領域的答案的研究，以探討其實用性和特點。
該研究團隊對ChatGPT在知名Q&A平臺Stack Overflow上對517個程式撰寫問題的答案進行了分析，評估其正確性、一致性、完整性和簡明性。此外，他們還通過語言和情感分析評估了ChatGPT建議的特點，以了解人工智能答案的獨特性，以及人們對其建議的接受程度。
研究發現，ChatGPT在52%的問題上給出的答案是不正確的，而62%的答案過於冗長。此外，高達78%的答案與人類的答案存在不一致之處。研究人員深入分析ChatGPT的答案，還發現其中存在著大量的概念和邏輯錯誤。
此外，研究人員還對ChatGPT對2000個Stack Overflow上的程式撰寫問題給出的答案進行了語言特點分析。研究結果顯示，ChatGPT的答案使用正式且優雅的用詞，極少出現不禮貌或負面情感，同時語氣非常接近真人說話，這讓其贏得了用戶的信任。儘管人們普遍認為Stack Overflow上其他使用者給出的答案更為可靠，但將近四成的人（39.34%）在部分問題上不小心相信了ChatGPT給出的錯誤答案，僅有60%的人能夠識別出其不正確性。
※更多ChatGPT相關訊息，請參考【生成式AI創新學院】。
瀏覽 14,405 次
