AI 爬虫要不要放行：GPTBot、OAI-SearchBot、PerplexityBot 规则

外贸网站想被 AI 引用，第一道门是 robots.txt。不少企业的 robots 是几年前建站时抄的模板，或者被安全插件一键「屏蔽所有 AI 爬虫」，结果 ChatGPT 与 Perplexity 的搜索爬虫根本进不来，后面的内容优化全白做。反过来，也有企业不想让内容被拿去训练模型，但又希望出现在 AI 搜索的引用里——这两件事是可以分开控制的。

这篇文章按「搜索与引用」「用户触发抓取」「模型训练」「控制令牌」四类整理主要 AI 爬虫的名称、用途与 robots 规则，给出一份「放行搜索、按需限制训练」的示例配置，以及怎么核验。名称与用途来自各公司的官方爬虫文档，核验日期见文末。

先分清两件事：放行爬虫解决的是「抓取准入」，也就是页面能不能被对方的程序读到；能不能被引用，是读到之后平台另做的判断，目前没有公开资料说明各平台在抓取之后如何决定引用哪些页面。所以本文的配置只能做到「不挡路」，不能让页面被引用，也不承诺任何平台的收录、引用或推荐。另外，爬虫名称、用途与 robots 规则会随各公司调整，下文是 2026 年 9 月的整理，实际操作前请以各家当时公布的爬虫说明为准。

要点速览

• 同一家公司通常有多个爬虫，用途不同：OpenAI 有 GPTBot（训练）、OAI-SearchBot（ChatGPT 搜索索引）、ChatGPT-User（用户触发抓取）

• 想被 ChatGPT 搜索引用，必须放行 OAI-SearchBot；屏蔽 GPTBot 只影响训练，不影响搜索引用

• Perplexity 的 PerplexityBot 只用于搜索索引，不用于模型训练；Perplexity-User 是用户触发的实时抓取

• Google-Extended 与 Applebot-Extended 不是爬虫，是控制令牌：写在 robots 里控制内容是否用于 AI 训练与依据，日志里不会出现它们的请求

• Google AI Overviews 与 AI Mode 使用 Googlebot，不能用 Google-Extended 屏蔽；不想出现在 AI 功能里要用 nosnippet 或 Search Console 的控制项

主要 AI 爬虫一览

读这张表，最容易看错的是「想被 AI 搜索引用时」这一栏：它回答的是「要被引用，这个爬虫能不能挡」，不是「放行了就会被引用」。其次是用户触发类的三个（ChatGPT-User、Perplexity-User、Claude-User）：它们在用户要求打开某个页面时才访问，各家对这类请求是否遵守 robots 的说明并不一致——Perplexity 官方说明，因为是用户发起的，这类请求一般不受 robots 规则限制；OpenAI 官方说明，这类请求的 robots 规则可能不适用。所以在 robots 里给它们写 Allow 或 Disallow，效果以各家当时说明为准，不要当成可靠的开关。「备注」栏里「合规记录不一」这类描述属于外部评价，不是官方说明，不宜单独作为决策依据。

推荐配置：放行搜索，按需限制训练

下面是一份面向外贸 B2B 网站的示例。原则：搜索与引用类爬虫全部放行；训练类按企业意愿决定；不要用通配规则一刀切。

# 搜索与引用：放行
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# 训练：按企业意愿（示例为不允许）
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

# 控制令牌：内容是否用于 Gemini 训练与依据（示例为允许）
User-agent: Google-Extended
Allow: /

# 常规
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

注意三点：① robots 里的 Allow 只是不禁止，页面还要能正常返回 200、不被防火墙或 CDN 的「AI 爬虫拦截」规则挡住；② 训练类是否屏蔽是企业的选择，屏蔽训练不会让你从 AI 搜索里消失；③ 改完先在浏览器打开 /robots.txt 核对，再用日志看对应 UA 有没有回来。

示例里还有一个细节：robots.txt 里，爬虫通常只按匹配自己的那一组规则执行，不会再叠加通配组（具体解析方式以各家文档和 robots.txt 标准为准）。示例中 OAI-SearchBot 等放行组只写了 Allow: /，而 /admin/ 的 Disallow 写在通配组里，对这些单独声明的爬虫可能不生效。如果有不想让任何爬虫抓取的目录（后台、购物车、站内搜索结果页），要在每个单独声明的分组里重复写一遍 Disallow。还要注意 robots.txt 只对它所在的域名生效：www.example.com 与 shop.example.com 各有各的文件，子域名要分别配置。

CDN 与安全插件的隐形拦截

• CDN 的「AI 爬虫」开关：部分 CDN 提供一键阻止 AI 爬虫的选项，开启后通常连搜索类爬虫一起挡。检查该选项是否开启，需要的话改为只挡训练类

• WordPress 安全插件：「屏蔽坏爬虫」列表里可能包含 OAI-SearchBot、PerplexityBot；逐条核对白名单

• 速率限制与验证码：爬虫触发验证码就等于被挡；各家爬虫文档提供官方 IP 段或验证方法，可按 UA + IP 核验后放行

• robots 里的通配 Disallow：`User-agent: *` 下的 Disallow 对没有单独声明的 AI 爬虫同样生效，检查有没有误封 /blog/ 或产品目录

怎么核验放行是否生效

1. 浏览器打开 /robots.txt，逐条核对上表里的令牌
2. 用命令行模拟 UA 请求一个核心页面，确认返回 200 且是完整 HTML（不是验证码页）
3. 看服务器或 CDN 日志，过滤 OAI-SearchBot、PerplexityBot、Claude-SearchBot 等 UA，确认有抓取记录
4. 在 Bing Webmaster Tools 与 Search Console 里确认核心页面已收录（这两家是 Copilot 与 Google AI 功能的底座）
5. 用固定题库在各平台实测，看引用是否出现；方法见《我们实测了 122 个外贸买家问题》

核验时有三个常见卡点：

• 改了没生效：robots.txt 本身可能被 CDN 或服务器缓存；OpenAI 官方说明其搜索系统约需 24 小时才会按新的 robots 调整，其他家的时长以各自说明为准。所以改完当天日志里没变化是正常的，先别回滚。

• 日志里看不到爬虫：先确认日志记录的是哪一层。被 CDN 或防火墙拦下的请求，未必出现在源站日志里。看不到记录有三种可能：对方还没来、被拦住了、日志没记录 UA，要分别排查。

• 命令行模拟 UA 返回 200，不等于真爬虫进得来：模拟请求来自你自己的 IP，而防火墙与 CDN 往往同时核对来源 IP。Perplexity 官方建议同时匹配 UA 与其公布的 IP 段，并定期更新；其他家的 IP 公布方式以各自文档为准。

这套配置不适用或要先调整的情形：内容在登录或付费墙后面，爬虫读不到，放行没有意义；页面核心文字要靠浏览器脚本加载后才显示，各家爬虫是否执行 JavaScript 目前没有统一的公开口径，稳妥的做法是让核心文字在初始 HTML 里就能看到；公司法务对内容被用于训练有明确要求，那训练类爬虫怎么处理应由公司政策决定，与 GEO 效果无关。放行全部搜索类爬虫、页面也能正常返回，仍然不等于会被引用——引用与否由各平台决定。

常见问题 FAQ

Q: 屏蔽了 GPTBot，ChatGPT 还会引用我的网站吗？

A: 会。ChatGPT 搜索的索引由 OAI-SearchBot 负责，GPTBot 只用于训练。两者在 robots 里分别控制。

Q: 要不要屏蔽训练类爬虫？

A: 取决于企业对内容被用于训练的态度，与 GEO 效果无直接关系。多数外贸企业的公开产品与技术内容本来就希望被广泛传播，不屏蔽也没有实际损失；有版权顾虑的内容可以单独处理。

Q: Google-Extended 写了 Disallow，会掉排名吗？

A: Google 官方说明 Google-Extended 不影响搜索收录与排名，它只控制内容是否用于 Gemini 的训练与依据。但屏蔽后 Gemini 应用可能不再引用你的页面。

Q: robots 放行了，为什么 AI 还是不引用？

A: robots 只是准入。之后还要看页面是否被对应平台收录、内容是否可引用、品牌实体是否一致，见《ChatGPT、Perplexity、Copilot、Gemini 各自从哪找答案》与《GEO 与 SEO 有什么区别》。

结语

AI 爬虫的放行规则只有一个原则：搜索与引用类全部放行，训练类按企业意愿，控制令牌按用途。把 robots、CDN 与安全插件三处一起核对，再用日志确认爬虫真的来过，GEO 的第一道门就打开了。外贸 GEO 优化服务的免费实测会先核对这一步。

资料核验日期：2026 年 9 月 29 日。平台文档与功能以各官方页面当前版本为准；本文不构成对被 AI 引用、推荐或询盘数量的承诺。