在測試中，布羅克班克具體觀察到，ChatGPT在推薦特定公司或服務時，會引用一些被篡改或具有誤導性的內容。這些內容往往源自被黑客攻陷的高權重網站，或是那些已被重新注冊并用于其他目的的過期域名。由于這些域名在過去積累了較高的權威性，ChatGPT在生成推薦時仍將其視為可靠的信息源。
布羅克班克指出，這一現象帶來了兩大問題。首先，被黑客攻擊的網站可能被植入與原內容不符的信息，這些信息有可能是虛假的。其次，過期域名的再利用問題同樣嚴峻，一些個人或機構會購買這些域名，并發布與原主題毫無關聯的內容，利用其原有的搜索引擎權重來誤導AI系統。他警告說：“僅僅為了被語言模型引用而重建一個域名，這種行為構成了操控。”
這一發現對企業和用戶均產生了重要影響。對于企業而言，AI推薦已成為提升品牌知名度的重要途徑。然而，如果推薦內容源自不可靠的信息源，可能會導致消費者產生誤解，進而損害企業的品牌形象。對于用戶來說，盲目依賴AI的推薦可能會使他們做出錯誤的信息判斷。
隨著AI技術的飛速發展，如何確保信息的可靠性已成為亟待解決的問題。用戶在享受AI帶來的便利的同時，也應保持警惕，避免受到潛在誤導和風險的侵害。
