本文使用 AI 辅助整理，以 Sunpersona 品牌署名。来源链接、实验日期与公开记录供读者核对；这不是个人专家资历或客户效果证明。
先区分三种访问
| 用途 | 示例 | 意义 |
|---|---|---|
| 搜索抓取 | OAI-SearchBot / PerplexityBot / Claude-SearchBot | 检查搜索内容发现的访问条件 |
| 训练抓取 | GPTBot / ClaudeBot | 训练许可是独立选择 |
| 用户请求 | ChatGPT-User / Perplexity-User / Claude-User | 当次读取不代表长期索引 |
OpenAI 将搜索与训练规则分开。ChatGPT-User 是用户发起的访问，其 robots 规则不一定适用，也不决定搜索资格。
检查 robots.txt
确认根目录规则的实际内容，并检查特定机器人分组。通用允许规则不能简单替代已有的特定禁止规则。正式业务页面与渲染所需资源应可访问。
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml这只是全公开站点的最小示例。保留适用的路径与训练政策，私人内容用访问控制保护。
核对网络防护
若规则允许而请求仍返回验证码或 403，查看实际命中的安全事件。结合官方地址或验证信息确认机器人身份，再调整对应规则。不要只按请求名称广泛放行。
Perplexity 官方区分搜索与用户读取，并提供网络规则建议；Anthropic 说明其机器人遵循 robots.txt。不同平台按各自规则核对。
什么证据足够
- 命令测试：响应码、跳转目标和真实正文。
- 平台实时测试：实际获取结果与允许抓取状态。
- 真实爬虫日志：经过身份验证的请求和响应。
- 搜索索引：在访问证据之外单独记录。
curl 中写一个机器人名称只是模拟请求。它不会让平台抓取或索引这个 URL。
发现阻塞后如何处理
保存具体 URL、抓取时间与错误内容，修复实际规则，再复测。Search Console 邮件可能反映早于当前版本的状态，因此要同时保留历史报告与实时结果。