近期，網絡安全巨頭Cloudflare發布了一項針對人工智能搜索新貴Perplexity的指控報告，指出后者涉嫌違反網站訪問限制，試圖規避對其網絡爬蟲的封鎖措施。據Cloudflare披露，當Perplexity的爬蟲活動受到阻礙時，該公司采取了偽裝身份的策略，試圖無視網站的訪問偏好，這包括直接無視robots.txt文件中的明確禁令以及Web應用防火墻（WAF）的既定規則。
這一指控進一步加劇了外界對Perplexity可能未經授權獲取網絡內容的憂慮。早先，Perplexity就曾因突破付費障礙和忽視robots.txt文件而受到指責，但其CEO阿拉文德·斯瑞尼瓦斯當時將問題歸咎于第三方爬蟲的行為。
為了驗證客戶的投訴，Cloudflare特別設立了一個帶有相似訪問限制的新域名進行測試。測試結果顯示，Perplexity的爬蟲（最初以“PerplexityBot”或“Perplexity-User”的身份出現）在遭遇封鎖后，會迅速變換其用戶代理信息，偽裝成在macOS系統上運行的Google Chrome瀏覽器。Cloudflare強調，這種“未聲明的爬蟲”還運用了不斷更換的IP地址和自治系統網絡（ASN）調整策略，以繞過封鎖。據Cloudflare觀察，此類規避行為波及“數以萬計的域名，每天產生數百萬次的請求”。
面對指控，Perplexity的發言人杰西·德懷爾在一份聲明中反駁稱，Cloudflare的報告是“夸大其詞”，并指出其中存在“諸多誤解”。盡管如此，Cloudflare已經決定從已驗證的機器人名單中剔除Perplexity，并分享了阻止其“隱形爬行”行為的具體方法。
