robots.txt 生成器

可视化配置多 User-agent 规则、Allow/Disallow、Sitemap 与 Host，提供常用预设，一键生成标准 robots.txt 文件。

快速预设

规则组 1

User-agent *

Crawl-delay（秒）

注释（可选）

规则

Host（可选，Yandex 专用）

Sitemap（可选）

预览

# Generated by 工具派 robots.txt generator
# https://gjupai.com/tools/robots_generator

User-agent: *
Disallow: /admin/
Allow: /

小贴士

• 路径以 / 开头；Disallow: 空表示允许全部。

• 爬虫按规则组顺序匹配，第一个匹配的 User-agent 组生效。

• Googlebot 不识别 Crawl-delay，请用 Google Search Console 调整抓取频率。

• 可用 * 作为通配符，如 /*?s= 屏蔽搜索参数。