第一章:事件報告——拆解 Perplexity 的「夜盜」行徑
首先,讓我們來理解一下,Perplexity 的手法,到底有多「賤」。
在網路世界,一直有一個不成文的「君子協定」,叫做 robots.txt。你可以把它想像成,你在自家院子的門口,掛上了一塊「謝絕推銷員入內」的牌子。所有「正派」的網路爬蟲(例如 Googlebot),看到這塊牌子,都會禮貌地轉身離開。
但根據 Cloudflare 的監測數據,Perplexity 的爬蟲,不僅對這塊牌子視而不見,甚至還學會了「偽裝」。
作案手法: Cloudflare 發現,大量來自 Perplexity 伺服器的爬蟲,其「使用者代理 (User-Agent)」——也就是爬蟲的「網路身分證」——被刻意偽裝成:一個正在使用 macOS 作業系統的 Chrome…
Keep reading with a 7-day free trial
Subscribe to AI避坑情報員電子週報|AITrapAdvisor Weekly Newsletter to keep reading this post and get 7 days of free access to the full post archives.