搜尋與 AI
網路爬蟲是什麼？
Web Crawler
發布於
自動瀏覽網頁、抓取內容的程式，也常被稱為 bot。
搜尋引擎與 AI 都靠它讀網站
Google 用 Googlebot 抓取網頁、建立搜尋索引；AI 公司也有自己的爬蟲，例如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot。爬蟲造訪時會報上名稱（User-agent），網站可以依名稱在 robots.txt 設定規則。
同一家公司，爬蟲用途可能不同
主要 AI 業者把爬蟲分成訓練用、搜尋用，以及使用者在對話中要求時才去打開網頁的類型。擋掉其中一種，不代表其他用途也一起停止；設定前要看各家的官方說明。
參考資料
- OpenAI：Overview of OpenAI Crawlers
- Anthropic：Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google Search Central：Google 的常見檢索器
最近查核：