搜索与 AI
CDN 是什么?
内容分发网络 · Content Delivery Network
分布在各地的服务器网络,替网站就近传送内容,也常负责过滤恶意流量与爬虫。
CDN 怎么运作?
CDN(Content Delivery Network,内容分发网络)在各地设置节点服务器。读者第一次请求某张图片或某个网页时,节点会向网站原本的主机(称为源站)获取内容并暂存起来,这个动作叫缓存;之后附近的读者再请求,就直接由节点送出,不必每次都回到源站。
节点没有缓存、或内容已过期时,才会再回源站获取最新版本。所以更新网站后,有时要清除 CDN 缓存,读者才会看到新内容。
节点是否保留副本取决于缓存规则,使用 CDN 不代表每一页都已缓存。以 Cloudflare 为例,响应标头 cf-cache-status 显示 HIT 表示资源来自缓存,MISS 表示缓存中没有、需向源站获取。
读者的浏览器也有自己的缓存;CDN 与浏览器其中一层更新,另一层仍可能保留旧副本。公开图片通常适合复用,账户页面等个性化响应则需要限制共享缓存。
让网站更快、更稳
读者访问网站时,CDN 从离他较近的节点送出网页与图片,缩短等待时间,也能分摊流量高峰。源站暂时出问题时,部分 CDN 也能先提供缓存版本。Cloudflare、Akamai 都是常见的 CDN 服务商,云平台也多半提供自己的 CDN 服务。
CDN 对 SEO 有什么影响?
CDN 本身不是排名因素,但它能改善加载速度与网站可用性,这些会影响用户体验与搜索引擎抓取网站的顺畅程度。
要注意的是,CDN 的防火墙或机器人防护设置得太严,可能误拦 Googlebot 等搜索引擎爬虫。启用防护规则后,可以用 Search Console 的网址检查工具确认页面仍能被正常抓取。
robots.txt 之外的另一层爬虫管理
不少 CDN 提供 bot 管理与防火墙,可以直接在网络层拦下或放行特定爬虫,这些设置不会出现在 robots.txt 里。Cloudflare 在 2025 年 7 月宣布,新加入的域名会默认询问是否允许 AI 爬虫,并测试向 AI 爬虫按次收费的 Pay Per Crawl。
如果你在 robots.txt 放行了某个 AI 爬虫,它却仍然抓不到网站,可以检查 CDN 的机器人管理设置。
常见问题
网站一定要用 CDN 吗?
不一定。读者集中在单一地区、流量不大的网站,不用 CDN 也能正常运行。读者分散各地、图片与视频多,或常有流量高峰时,CDN 的效益比较明显。
CDN 和主机(Hosting)有什么不同?
主机是存放网站文件、执行程序的地方,也就是源站;CDN 是在主机前面再加一层分布各地的节点,负责就近传送内容。多数网站两者会一起使用。
CDN 会拦到 Google 爬虫吗?
正常设置下不会,但过严的防火墙或机器人防护规则可能误拦。调整防护设置后,建议用 Search Console 的网址检查工具确认 Googlebot 仍能抓到页面。
参考资料
- Cloudflare:What is a CDN?
- Cloudflare:Content Independence Day: no AI crawl without compensation!
- Cloudflare:缓存响应状态
- MDN:HTTP 缓存
最近查核: