User-agent: *
Allow: /
Disallow: /404*
Disallow: /api/
# 屏蔽阿里推荐插件残留的带参 URL（网站已不使用该插件）
Disallow: /*?cfb=*
Disallow: /*?scm=*
# 屏蔽追踪/变体参数产生的重复 URL，避免浪费爬取预算（SEO 诊断 2026-09）
Disallow: /*?variant=*
Disallow: /*?score=*
Disallow: /*?ssp=*

# 允许 Google AI Overview 使用内容
User-agent: Google-Extended
Allow: /

# 允许 GPTBot 获取 AI 搜索流量
User-agent: GPTBot
Allow: /

# 允许 Perplexity 搜索引擎
User-agent: PerplexityBot
Allow: /

# 允许 Apple 智能搜索
User-agent: Applebot-Extended
Allow: /

# 统一允许主流 AI 训练/搜索爬虫（与上方策略一致，最大化 AI 可发现性）
User-agent: Bytespider
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

Sitemap: https://www.easihive.com/sitemap-index.xml