Robots.txt 生成器

常见起始模板

允许所有内容（大多数网站）：

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

屏蔽 staging / 管理后台：

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

屏蔽 AI 训练爬虫，允许搜索引擎：

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

值得了解的 user-agent

AI 训练机器人默认按惯例支持“选择退出”，而非法律强制要求；诚信运营者会遵守相关指令，缺乏诚信者则不会。

路径匹配规则

• 路径相对于域名根目录，以 / 开头。
• * 可匹配任意字符。Disallow: /*.pdf$ 会屏蔽所有 PDF 文件。
• $ 锚定在 URL 末尾。Disallow: /*/trash$ 会屏蔽 /foo/trash，但不会屏蔽 /foo/trashes/...。
• 最长匹配优先。对于该子路径，Allow: /admin/public/ 会覆盖 Disallow: /admin/。
• 路径区分大小写。

robots.txt 无法做到的事

• 从 Google 中删除页面。 请在该页面本身使用 noindex 元标签。
• 保护 URL 不被人访问。 robots.txt 是公开的，只是对守规矩爬虫的建议。
• 限制 Googlebot 的抓取频率。 Google 会忽略 Crawl-delay；请使用 Search Console。
• 屏蔽无视 robots.txt 的机器人。 垃圾抓取工具不会读取该文件。

部署检查清单

1. 放到 https://yourdomain.com/robots.txt，仅限根目录。
2. 以 Content-Type: text/plain 提供（大多数服务器会自动处理）。
3. 大小：小于 500 KB。Google 会截断更大的文件。
4. 部署后，在 Google Search Console 的 robots.txt 测试工具中检查抓取到的文件。
5. 移除 Disallow 时，请注意解除索引可能需要数周。