搜尋與 AI
robots.txt 是什麼？
爬蟲規則檔 · Robots Exclusion Protocol
發布於
放在網站根目錄的純文字檔，告訴爬蟲哪些頁面可以抓、哪些不要抓。
寫給爬蟲看的告示
網址固定是「網域／robots.txt」。檔案用 User-agent 指定對哪個爬蟲說，Disallow 寫不准抓的路徑，Allow 寫可以抓的路徑。爬蟲會先找點名自己的規則，找不到才套用寫給所有爬蟲的規則。這套做法 1994 年開始使用，2022 年由 IETF 發布為正式標準 RFC 9309。
不是門鎖，也不管搜尋結果怎麼顯示
守規矩的爬蟲會照做，但 RFC 9309 寫明這些規則不是存取授權；真正不能公開的內容，要靠登入控管。robots.txt 只管爬蟲能不能抓，想讓頁面不出現在 Google 搜尋結果，要用 noindex。此外，CDN 的機器人管理也可能在網路層擋下爬蟲，這層設定不會出現在 robots.txt 裡。
AI 爬蟲也看這份檔案
OpenAI、Anthropic、Perplexity 與 Google 都公布了自家爬蟲的名稱，網站可以分別決定是否允許訓練用或搜尋用的抓取。部分業者也說明，使用者在對話中要求 AI 打開網頁時，不一定適用 robots.txt。
參考資料
- IETF RFC 9309：Robots Exclusion Protocol
- Google Search Central：robots.txt 簡介
- OpenAI：Overview of OpenAI Crawlers
最近查核：