<h2>工具简介</h2>
<p><strong>robots.txt 生成器</strong>是工具派推出的一款可视化 SEO 辅助工具：不用背诵 robots 协议语法，只要在页面上填一填表单，右侧就能实时生成一份规范的 <code>robots.txt</code> 文件，支持一键复制或直接下载。它把 robots.txt 的核心概念——User-agent 规则组、Allow/Disallow 路径、Crawl-delay、Sitemap、Host——全部做成了表单控件，还内置「允许全部」「禁止全部」「SEO 推荐」「拦截 AI 爬虫」「WordPress」五个常用预设，点一下就能套用成熟方案。工具自带重复 User-agent 提醒、路径自动补全和 URL 合法性校验，全程在浏览器本地运行，打开即用、无需登录。</p>
<h2>功能亮点</h2>
<ul>
<li><strong>多 User-agent 规则组</strong>：可添加任意多个规则组，每组针对一个爬虫（如 <code>Googlebot</code>、<code>*</code>），组与组之间可上下排序、单独删除，精准控制不同爬虫的抓取行为。</li>
<li><strong>Allow / Disallow 路径规则</strong>：每组内可添加多条规则，下拉选择 Allow 或 Disallow，填写路径即可；规则同样支持排序和删除，顺序即匹配优先级。</li>
<li><strong>五个常用预设</strong>：允许全部、禁止全部、SEO 推荐（屏蔽 /admin/、/private/、/api/ 等后台路径）、拦截 AI 爬虫（屏蔽 GPTBot、ClaudeBot、Bytespider、Google-Extended 等）、WordPress 专用规则，一键套用。</li>
<li><strong>Sitemap 与 Host 声明</strong>：可添加多个 Sitemap 地址，非法 URL 会被自动忽略并红框提示；Host 字段（Yandex 专用）填入完整网址后自动提取域名输出。</li>
<li><strong>Crawl-delay 与注释</strong>：每组可设置抓取间隔秒数，还可写一行注释，生成时会以 <code>#</code> 注释行出现在文件中，方便日后维护。</li>
<li><strong>智能校验提醒</strong>：User-agent 留空会红字提示且禁用下载；多个组使用相同 User-agent 时弹出黄色提醒（爬虫只匹配第一个组）；路径未以 <code>/</code> 开头时红框提示并在生成时自动补全。</li>
<li><strong>实时预览 + 一键导出</strong>：右侧代码区随编辑实时刷新，顶部带生成来源注释；「复制」按钮拷走全文，「下载 robots.txt」直接保存为标准文件，上传到网站根目录即可生效。</li>
</ul>
<h2>参数说明</h2>
<table>
<thead>
<tr>
<th>参数</th>
<th>说明</th>
<th>默认值 / 取值范围</th>
</tr>
</thead>
<tbody><tr>
<td>快速预设</td>
<td>一键套用常用 robots.txt 方案</td>
<td>允许全部 / 禁止全部 / SEO 推荐 / 拦截 AI 爬虫 / WordPress</td>
</tr>
<tr>
<td>User-agent</td>
<td>规则组针对的爬虫标识，<code>*</code> 表示所有爬虫</td>
<td>默认 <code>*</code>，必填，留空时禁止下载</td>
</tr>
<tr>
<td>Crawl-delay（秒）</td>
<td>该爬虫两次抓取之间的间隔秒数（Googlebot 不识别此指令）</td>
<td>默认留空（不输出），≥0 的数字才生效</td>
</tr>
<tr>
<td>注释</td>
<td>规则组的说明文字</td>
<td>默认留空，填写后以 <code># 注释</code> 行输出</td>
</tr>
<tr>
<td>规则类型</td>
<td>单条规则是允许还是禁止抓取</td>
<td>Allow 或 Disallow，新增规则默认 Disallow</td>
</tr>
<tr>
<td>规则路径</td>
<td>要允许/禁止的 URL 路径，支持 <code>*</code> 通配符（如 <code>/*?s=</code>）</td>
<td>留空生成时按 <code>/</code> 处理；未以 <code>/</code> 开头自动补全</td>
</tr>
<tr>
<td>Host</td>
<td>声明站点主域名（Yandex 专用）</td>
<td>默认留空，须为合法 URL，输出时只取域名部分</td>
</tr>
<tr>
<td>Sitemap</td>
<td>站点地图地址，可添加多条</td>
<td>默认 1 条空行，仅合法 URL 会被输出</td>
</tr>
</tbody></table>
<h2>使用步骤</h2>
<ol>
<li><strong>打开工具页面</strong>：上方是工具标题和「快速预设」栏，左侧是规则组编辑区，右侧是实时预览区，无需登录即可使用。</li>
</ol>
<p><img src="article/202607/1783995028138_9976.png" alt="robots.txt 生成器主界面：顶部为工具标题与说明，其下是「快速预设」栏（允许全部、禁止全部、SEO 推荐、拦截 "></p>
<ol start="2">
<li><p><strong>套用预设（可选）</strong>：不想从零配置时，直接点「快速预设」——新站上线前可点「禁止全部」临时封站，正式站点点「SEO 推荐」屏蔽后台路径，WordPress 站点点「WordPress」即可得到一整套成熟规则。</p>
</li>
<li><p><strong>配置规则组</strong>：在「规则组」卡片中填写 User-agent（<code>*</code> 代表所有爬虫，也可填 <code>Googlebot</code> 等具体爬虫），按需填写 Crawl-delay 秒数和注释；点「添加规则」增加 Allow/Disallow 条目，用 ↑↓ 调整顺序、× 删除。</p>
</li>
<li><p><strong>添加更多规则组（可选）</strong>：点「+ 添加 User-agent 规则组」可为不同爬虫制定不同策略，例如单独给 <code>Baiduspider</code> 设一组规则，其余爬虫走 <code>*</code> 组。注意爬虫只匹配第一个命中的组，请把具体爬虫的组排在通配组之前。</p>
</li>
<li><p><strong>填写 Sitemap 与 Host（可选）</strong>：在 Sitemap 区域填入站点地图完整地址（如 <code>https://example.com/sitemap.xml</code>），可点「添加 Sitemap」增加多条；使用 Yandex 的站点可在 Host 中填写主站网址。</p>
</li>
<li><p><strong>复制或下载使用</strong>：右侧预览区会实时生成带注释的标准 robots.txt 文本，确认无误后点「复制」粘贴到自己的文件，或点「下载 robots.txt」直接保存，然后上传到网站根目录（<code>https://你的域名/robots.txt</code>）即可生效。</p>
</li>
</ol>
<h2>使用技巧</h2>
<ul>
<li><strong>先预设再微调</strong>：五个预设覆盖了绝大多数场景，最省事的用法是先点一个最接近的预设，再增删几条规则，而不是从空白开始逐条添加。</li>
<li><strong>善用通配符屏蔽参数页</strong>：路径支持 <code>*</code> 通配符，例如 <code>Disallow: /*?s=</code> 可屏蔽站内搜索结果页，<code>Disallow: /*?utm_</code> 可屏蔽带推广参数的重复页面，避免浪费抓取配额。</li>
<li><strong>具体爬虫的组要排在前面</strong>：爬虫按规则组顺序匹配，命中第一个组后就不再看后面的组，所以 <code>Googlebot</code> 这样的专属组必须放在 <code>*</code> 通配组之前，工具也会对重复 User-agent 给出黄色提醒。</li>
<li><strong>拦截 AI 训练用「拦截 AI 爬虫」预设</strong>：该预设已内置 GPTBot、ClaudeBot、Bytespider、Google-Extended 等主流 AI 爬虫的屏蔽规则，不想被拿去训练模型时一键套用即可。</li>
<li><strong>Crawl-delay 对 Googlebot 无效</strong>：Google 不识别 Crawl-delay 指令，需要限制 Google 抓取频率时应去 Google Search Console 设置，该字段主要对 Bing、Yandex 等爬虫有效。</li>
<li><strong>上线前记得改回来</strong>：用「禁止全部」临时封站的站点，正式上线后务必改回允许抓取的规则，否则搜索引擎会一直拒绝收录。</li>
</ul>
<h2>常见问题</h2>
<p><strong>Q1：生成的 robots.txt 应该放在哪里？</strong><br>放在网站根目录，保证能通过 <code>https://你的域名/robots.txt</code> 直接访问到。爬虫抓取任何页面前都会先请求这个固定路径，放在子目录里是无效的。</p>
<p><strong>Q2：Disallow 路径留空是什么意思？</strong><br><code>Disallow:</code> 后不带任何路径表示「不禁止任何内容」，即允许全部抓取。工具中如果一个规则组没有任何规则，生成时就会自动输出空 Disallow，等效于放行。</p>
<p><strong>Q3：多个规则组都写了 <code>*</code> 会怎么样？</strong><br>爬虫只会使用第一个匹配到的 User-agent 组，后面的同名片段会被忽略。工具检测到重复 User-agent 时会显示黄色提醒，建议合并成一组或删除多余组。</p>
<p><strong>Q4：Crawl-delay 设了为什么不生效？</strong><br>Crawl-delay 不是所有爬虫都支持：Bing、Yandex 等会遵守，但 Googlebot 完全忽略该指令。要控制 Google 的抓取频率，只能在 Google Search Console 中调整。</p>
<p><strong>Q5：Host 字段有什么用？必须填吗？</strong><br>Host 用于声明站点主域名（如带不带 www），目前只有 Yandex 识别该指令，不面向 Yandex 的站点可以不填。填写时需输入完整网址（含 <code>https://</code>），生成时会自动只保留域名部分。</p>
<p><strong>Q6：robots.txt 能彻底阻止别人抓取我的页面吗？</strong><br>不能。robots.txt 只是给守规矩的正规爬虫看的「君子协定」，恶意爬虫可以完全无视它。涉及隐私或安全的内容应通过登录鉴权、服务器访问控制等手段保护，而不是依赖 robots.txt。</p>


## 工具简介

**robots.txt 生成器**是工具派推出的一款可视化 SEO 辅助工具：不用背诵 robots 协议语法，只要在页面上填一填表单，右侧就能实时生成一份规范的 `robots.txt` 文件，支持一键复制或直接下载。它把 robots.txt 的核心概念——User-agent 规则组、Allow/Disallow 路径、Crawl-delay、Sitemap、Host——全部做成了表单控件，还内置「允许全部」「禁止全部」「SEO 推荐」「拦截 AI 爬虫」「WordPress」五个常用预设，点一下就能套用成熟方案。工具自带重复 User-agent 提醒、路径自动补全和 URL 合法性校验，全程在浏览器本地运行，打开即用、无需登录。

## 功能亮点

- **多 User-agent 规则组**：可添加任意多个规则组，每组针对一个爬虫（如 `Googlebot`、`*`），组与组之间可上下排序、单独删除，精准控制不同爬虫的抓取行为。
- **Allow / Disallow 路径规则**：每组内可添加多条规则，下拉选择 Allow 或 Disallow，填写路径即可；规则同样支持排序和删除，顺序即匹配优先级。
- **五个常用预设**：允许全部、禁止全部、SEO 推荐（屏蔽 /admin/、/private/、/api/ 等后台路径）、拦截 AI 爬虫（屏蔽 GPTBot、ClaudeBot、Bytespider、Google-Extended 等）、WordPress 专用规则，一键套用。
- **Sitemap 与 Host 声明**：可添加多个 Sitemap 地址，非法 URL 会被自动忽略并红框提示；Host 字段（Yandex 专用）填入完整网址后自动提取域名输出。
- **Crawl-delay 与注释**：每组可设置抓取间隔秒数，还可写一行注释，生成时会以 `#` 注释行出现在文件中，方便日后维护。
- **智能校验提醒**：User-agent 留空会红字提示且禁用下载；多个组使用相同 User-agent 时弹出黄色提醒（爬虫只匹配第一个组）；路径未以 `/` 开头时红框提示并在生成时自动补全。
- **实时预览 + 一键导出**：右侧代码区随编辑实时刷新，顶部带生成来源注释；「复制」按钮拷走全文，「下载 robots.txt」直接保存为标准文件，上传到网站根目录即可生效。

## 参数说明

| 参数 | 说明 | 默认值 / 取值范围 |
| --- | --- | --- |
| 快速预设 | 一键套用常用 robots.txt 方案 | 允许全部 / 禁止全部 / SEO 推荐 / 拦截 AI 爬虫 / WordPress |
| User-agent | 规则组针对的爬虫标识，`*` 表示所有爬虫 | 默认 `*`，必填，留空时禁止下载 |
| Crawl-delay（秒） | 该爬虫两次抓取之间的间隔秒数（Googlebot 不识别此指令） | 默认留空（不输出），≥0 的数字才生效 |
| 注释 | 规则组的说明文字 | 默认留空，填写后以 `# 注释` 行输出 |
| 规则类型 | 单条规则是允许还是禁止抓取 | Allow 或 Disallow，新增规则默认 Disallow |
| 规则路径 | 要允许/禁止的 URL 路径，支持 `*` 通配符（如 `/*?s=`） | 留空生成时按 `/` 处理；未以 `/` 开头自动补全 |
| Host | 声明站点主域名（Yandex 专用） | 默认留空，须为合法 URL，输出时只取域名部分 |
| Sitemap | 站点地图地址，可添加多条 | 默认 1 条空行，仅合法 URL 会被输出 |

## 使用步骤

1. **打开工具页面**：上方是工具标题和「快速预设」栏，左侧是规则组编辑区，右侧是实时预览区，无需登录即可使用。

![robots.txt 生成器主界面：顶部为工具标题与说明，其下是「快速预设」栏（允许全部、禁止全部、SEO 推荐、拦截 ](article/202607/1783995028138_9976.png)

2. **套用预设（可选）**：不想从零配置时，直接点「快速预设」——新站上线前可点「禁止全部」临时封站，正式站点点「SEO 推荐」屏蔽后台路径，WordPress 站点点「WordPress」即可得到一整套成熟规则。

3. **配置规则组**：在「规则组」卡片中填写 User-agent（`*` 代表所有爬虫，也可填 `Googlebot` 等具体爬虫），按需填写 Crawl-delay 秒数和注释；点「添加规则」增加 Allow/Disallow 条目，用 ↑↓ 调整顺序、× 删除。

4. **添加更多规则组（可选）**：点「+ 添加 User-agent 规则组」可为不同爬虫制定不同策略，例如单独给 `Baiduspider` 设一组规则，其余爬虫走 `*` 组。注意爬虫只匹配第一个命中的组，请把具体爬虫的组排在通配组之前。

5. **填写 Sitemap 与 Host（可选）**：在 Sitemap 区域填入站点地图完整地址（如 `https://example.com/sitemap.xml`），可点「添加 Sitemap」增加多条；使用 Yandex 的站点可在 Host 中填写主站网址。

6. **复制或下载使用**：右侧预览区会实时生成带注释的标准 robots.txt 文本，确认无误后点「复制」粘贴到自己的文件，或点「下载 robots.txt」直接保存，然后上传到网站根目录（`https://你的域名/robots.txt`）即可生效。

## 使用技巧

- **先预设再微调**：五个预设覆盖了绝大多数场景，最省事的用法是先点一个最接近的预设，再增删几条规则，而不是从空白开始逐条添加。
- **善用通配符屏蔽参数页**：路径支持 `*` 通配符，例如 `Disallow: /*?s=` 可屏蔽站内搜索结果页，`Disallow: /*?utm_` 可屏蔽带推广参数的重复页面，避免浪费抓取配额。
- **具体爬虫的组要排在前面**：爬虫按规则组顺序匹配，命中第一个组后就不再看后面的组，所以 `Googlebot` 这样的专属组必须放在 `*` 通配组之前，工具也会对重复 User-agent 给出黄色提醒。
- **拦截 AI 训练用「拦截 AI 爬虫」预设**：该预设已内置 GPTBot、ClaudeBot、Bytespider、Google-Extended 等主流 AI 爬虫的屏蔽规则，不想被拿去训练模型时一键套用即可。
- **Crawl-delay 对 Googlebot 无效**：Google 不识别 Crawl-delay 指令，需要限制 Google 抓取频率时应去 Google Search Console 设置，该字段主要对 Bing、Yandex 等爬虫有效。
- **上线前记得改回来**：用「禁止全部」临时封站的站点，正式上线后务必改回允许抓取的规则，否则搜索引擎会一直拒绝收录。

## 常见问题

**Q1：生成的 robots.txt 应该放在哪里？**
放在网站根目录，保证能通过 `https://你的域名/robots.txt` 直接访问到。爬虫抓取任何页面前都会先请求这个固定路径，放在子目录里是无效的。

**Q2：Disallow 路径留空是什么意思？**
`Disallow:` 后不带任何路径表示「不禁止任何内容」，即允许全部抓取。工具中如果一个规则组没有任何规则，生成时就会自动输出空 Disallow，等效于放行。

**Q3：多个规则组都写了 `*` 会怎么样？**
爬虫只会使用第一个匹配到的 User-agent 组，后面的同名片段会被忽略。工具检测到重复 User-agent 时会显示黄色提醒，建议合并成一组或删除多余组。

**Q4：Crawl-delay 设了为什么不生效？**
Crawl-delay 不是所有爬虫都支持：Bing、Yandex 等会遵守，但 Googlebot 完全忽略该指令。要控制 Google 的抓取频率，只能在 Google Search Console 中调整。

**Q5：Host 字段有什么用？必须填吗？**
Host 用于声明站点主域名（如带不带 www），目前只有 Yandex 识别该指令，不面向 Yandex 的站点可以不填。填写时需输入完整网址（含 `https://`），生成时会自动只保留域名部分。

**Q6：robots.txt 能彻底阻止别人抓取我的页面吗？**
不能。robots.txt 只是给守规矩的正规爬虫看的「君子协定」，恶意爬虫可以完全无视它。涉及隐私或安全的内容应通过登录鉴权、服务器访问控制等手段保护，而不是依赖 robots.txt。


免费在线 robots.txt 生成器，可视化配置多 User-agent 规则组、Allow/Disallow 路径、Crawl-delay、Sitemap 与 Host，内置允许全部、禁止全部、SEO 推荐、拦截 AI 爬虫、WordPress 五个预设，实时预览，一键复制或下载标准 robots.txt 文件。

robots.txt 生成器使用教程：可视化配置爬虫规则，一键生成下载