robots.txt配置指南：正确设置AI爬虫访问权限

robots.txt基础

robots.txt文件位于网站根目录，用于告诉爬虫哪些页面可以访问，哪些不可以。

AI爬虫列表

主要AI搜索引擎的爬虫包括：

• GPTBot - OpenAI ChatGPT
• ClaudeBot - Anthropic Claude
• PerplexityBot - Perplexity AI
• Google-Extended - Google Gemini
• CCBot - Common Crawl

推荐配置

# 允许所有AI爬虫
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# 禁止访问敏感目录
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /login.php

注意事项

• 不要阻止AI爬虫访问核心内容
• 保护敏感页面（后台、API等）
• 定期检查配置是否生效