# ===== 无 SEO 收益的商业爬虫：全站禁止 =====
# 依据 2026-08-30 15:30-19:09 访问日志：以下爬虫合计 5435 次请求、31.3MB 带宽，零收益
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Amazonbot
Disallow: /

# ===== AI 训练类抓取：限速，不全禁 =====
User-agent: ClaudeBot
Crawl-delay: 10

User-agent: GPTBot
Crawl-delay: 10

# ===== 通用规则 =====
User-agent: *
Disallow: /myadmin
Disallow: /admin
# 屏蔽空参数与冗余参数组合产生的重复 URL（301 重定向的主要来源之一）
Disallow: /*?cid=&
Disallow: /*?cid&
Disallow: /*?*k=&*order=
Disallow: /*?*order=&*page=
Crawl-delay: 5
Allow: /

Sitemap: https://www.chenxutan.com/sitemaps.xml