Cloudflare 默认屏蔽 AI 爬虫怎么解除：完整排查与放行指南 — 答流 AIGeoFlow · GEO 实战指南
Cloudflare 默认屏蔽 AI 爬虫由 Bot Fight Mode、Super Bot Fight Mode、AI Crawl Control、WAF 自定义规则与速率限制五类配置触发。解除方法：进入 Security > Bots 关闭对应开关，在 AI Crawl Control 中将目标 AI 爬虫设为 Allow，并通过 WAF Custom Rules 放行 User Agent，最后用服务器日志或 AI 爬虫监测记录验证命中。
排查触发屏蔽的 5 个 Cloudflare 开关
Cloudflare 屏蔽 AI 爬虫并非单一开关，而是多层叠加。Bot Fight Mode（免费版默认开启）拦截含 bot 关键字的请求；Super Bot Fight Mode（Pro 及以上套餐）将 Verified Bots 严格分类，是 GPTBot、ClaudeBot、PerplexityBot 被拦的高发区；AI Crawl Control（2024 年上线）提供 GPTBot、ClaudeBot、Google-Extended 等独立开关；WAF 自定义规则常用 User Agent 包含 bot 全部 Challenge；速率限制则对高频抓取触发 429。任意一层开启都可能导致 AI 爬虫无法到达源站，单独修改一项通常不够，需要逐项排查。
三步完成 AI 爬虫放行
第一步：进入 Security > Bots，关闭 Bot Fight Mode（免费版）或 Super Bot Fight Mode（Pro 及以上）。第二步：在 AI Crawl Control 中将 GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended 逐个设为 Allow；该功能仅 Pro 及以上套餐可用，免费版用户可跳过此步。第三步：进入 Security > WAF > Custom Rules 新增放行规则，表达式 (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot")，动作选 Skip 可跳过所有安全检查。修改后在 Cache 中 Purge 全部缓存，避免命中旧配置。
验证命中与持续监测 AI 爬虫
放行后必须验证 AI 爬虫是否真的到达源站。方法一：直接查看服务器 access log，搜索 GPTBot、ClaudeBot、PerplexityBot 等 User Agent，状态码应为 200 而非 403 或 429。方法二：使用 AI 爬虫监测工具按引擎分类显示请求量，例如答流 AIGeoFlow 提供 AI 爬虫来访记录面板，可定位哪些引擎未到访。方法三：24-72 小时后在 Perplexity、ChatGPT 搜索中测试品牌词引用是否上线。建议每周对比爬虫抓取量与 AI 引擎引用次数，识别波动并及时排查。
常见问题
- Cloudflare 免费版能放行 AI 爬虫吗？
- 可以，但能力有限。免费版只能关闭 Bot Fight Mode，AI Crawl Control 与 Super Bot Fight Mode 需要 Pro 及以上套餐。WAF 自定义规则在所有套餐都可用，最稳妥的放行方式仍是通过 WAF 规则放行目标 User Agent。
- AI Crawl Control 和 Super Bot Fight Mode 有什么区别？
- Super Bot Fight Mode 是通用 Bot 分类管理，统一处理 Verified Bots；AI Crawl Control 是 2024 年上线的独立模块，专门列出 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等 AI 爬虫，可逐个 Allow 或 Block，颗粒度更细。
- 放行后多久会被 ChatGPT、Perplexity 抓取？
- 通常 24-72 小时内出现首次抓取请求。ChatGPT 的 OAI-SearchBot 抓取频率较高，PerplexityBot 次之，ClaudeBot 与 Google-Extended 抓取周期可能拉长到 1-2 周。可通过服务器日志或爬虫监测面板观察实际抓取节奏。
- 答流 AIGeoFlow 的零改造接入能解决这个问题吗？
- 可以。答流 AIGeoFlow 通过 Cloudflare Worker 边缘适配在主站零代码接入，托管 AI 爬虫白名单与 User Agent 放行规则，并提供 AI 爬虫来访记录、每周引用实测存档等可查证指标；服务不承诺保证被 AI 推荐，只承诺可验证的硬指标。