近期，德克薩斯州的法律監管機構對科技巨頭meta及其同行人工智能企業Character.ai展開了深入調查。此次調查的核心聚焦于兩家公司推廣的人工智能聊天機器人是否存在誤導消費者的行為，尤其是這些產品被宣傳為能夠為兒童提供心理健康支持的情況。
據檢察官辦公室透露，meta的AI工作室與Character.ai的聊天機器人正面臨“欺騙性商業行為”的指控。調查人員認為，這些聊天機器人雖被標榜為專業的治療工具，但實際上卻缺乏必要的醫療許可和專業監督。
檢察官肯·帕克斯頓強調，AI平臺假扮成情感支持渠道，可能會誤導易感人群，特別是兒童，使他們誤以為自己正在接受正規的心理健康服務。這一事件反映了當前科技企業在提供AI服務時，對用戶，特別是未成年人保護措施的不足，正日益受到社會各界的關注。
德克薩斯州的此次行動緊隨美國參議院對meta的調查之后。參議院依據內部文件發現，meta的政策曾允許其聊天機器人與兒童進行涉及情感和浪漫的對話。參議員喬?！せ衾谥耺eta首席執行官馬克·扎克伯格的信中，表達了對于公司生成式AI產品可能助長對兒童剝削或其他犯罪行為的擔憂，并質疑企業為了追求利潤是否不擇手段。
面對指控，meta回應稱，其政策嚴禁針對兒童性別化的內容，并指出泄露的內部文件存在錯誤且已被刪除。同時，扎克伯格正斥巨資開發“個人超級智能”，意圖使meta在AI領域占據領先地位，這包括自研大型語言模型Llama，以及將AI聊天機器人整合至社交媒體應用中。
另一方面，Character.ai專注于打造具有不同角色的AI聊天機器人，并允許用戶自行創建。平臺上存在大量用戶生成的類似治療師的機器人，其中一個名為“心理學家”的機器人互動次數已超過2億。然而，Character.ai也因平臺上機器人可能對兒童造成實際傷害而面臨多起訴訟。
帕克斯頓指出，meta和Character.ai的聊天機器人可能冒充具備執業資格的心理健康專家，虛構資質并承諾保護用戶隱私，而實際上，其服務條款卻顯示用戶互動內容被記錄并用于定向廣告和算法優化。為此，他已向兩家公司發出民事調查要求，以確認其是否違反了德克薩斯州的消費者保護法。
meta方面表示，他們明確標注了AI身份，并告知用戶回復由AI生成，而非真人。而Character.ai則強調，其平臺上的角色均為虛構，旨在娛樂，且已采取措施確保用戶了解這一點。
