在新聞領域，大語言模型可能生成虛假新聞事件，擾亂信息傳播秩序，誤導公眾認知。Vectara公司針對文檔內容開展的研究表明，一些聊天機器人編造事實、虛構信息的幾率高達30%。世界經濟論壇發布的《2025年全球風險報告》顯示，錯誤和虛假信息是2025年全球面臨的五大風險之一。
在法律領域，它可能引用虛構的法律條文和案例。比如，2023年美國律師史蒂文·施瓦茨就因“輕信”ChatGPT，在法庭文件中引用了並不存在的法律案例。而在醫學領域，它可能提供錯誤的診斷和治療建議，危及患者生命。
《自然》在報導中指出，AI“幻覺”在科學參考文獻方面出現錯誤的情況也極為普遍。2024年的一項研究發現，各類聊天機器人在提及參考文獻時的出錯率在30%至90%之間。它們至少會在論文標題、第一作者或發表年份上出現偏差。雖然聊天機器人都帶有警告標簽，提醒用戶對重要信息進行二次核實。但如果用戶對聊天機器人的回復深信不疑，可能會引發一系列問題。
多舉措減少“幻覺”
為進一步提升AI的精確度，科學家正想方設法降低其“幻覺”。
例如，增加模型訓練參數和訓練時長可有效減少“幻覺”。但這種方法需要付出高昂的計算成本，並可能削弱聊天機器人的其他能力，如機器學習算法對未知數據的預測和處理能力。
此外，使用更大、更乾淨的數據集進行訓練，也是降低AI模型“幻覺”出現的有效途徑。然而，當前可用數據的有限性限制了這一方法的應用。
檢索增強生成（RAG）技術也為減少AI“幻覺”提供了新思路。該方法通過讓聊天機器人在回復問題前參考給定的可信文本，從而確保回復內容的真實性，以此減少“幻覺”的產生。在醫療和法律等需要嚴格遵循經過驗證的知識的領域，RAG技術備受青睞。 |
