搜索与 AI
robots.txt 是什么？
爬虫规则文件 · Robots Exclusion Protocol
放在网站根目录的纯文本文件，告诉爬虫哪些页面可以抓取、哪些不要抓取。
写给爬虫看的告示
网址固定是“域名/robots.txt”。文件用 User-agent 指定对哪个爬虫说话，Disallow 写不准抓取的路径，Allow 写可以抓取的路径。爬虫会先找点名自己的规则，找不到才套用写给所有爬虫的规则。这套做法 1994 年开始使用，2022 年由 IETF 发布为正式标准 RFC 9309。
不是门锁，也不管搜索结果怎么显示
守规矩的爬虫会照做，但 RFC 9309 写明这些规则不是访问授权；真正不能公开的内容，要靠登录管控。robots.txt 只管爬虫能不能抓取，想让页面不出现在 Google 搜索结果，要用 noindex。此外，CDN 的机器人管理也可能在网络层拦下爬虫，这层设置不会出现在 robots.txt 里。
AI 爬虫也看这份文件
OpenAI、Anthropic、Perplexity 与 Google 都公布了自己爬虫的名称，网站可以分别决定是否允许训练用或搜索用的抓取。部分厂商也说明，用户在对话中要求 AI 打开网页时，不一定适用 robots.txt。
参考资料
- IETF RFC 9309：Robots Exclusion Protocol
- Google Search Central：robots.txt 简介
- OpenAI：Overview of OpenAI Crawlers
最近查核：