# OpenAI GPT爬虫
User-agent: GPTBot
Disallow: /
# Claude爬虫
User-agent: ClaudeBot
Disallow: /
# Google AI训练爬虫
User-agent: Google-Extended
Disallow: /
# YisouSpider
User-agent: YisouSpider
Disallow: /
# AhrefsBot
User-agent: AhrefsBot
Disallow: /

# 百度
User-agent: Baiduspider
# 谷歌搜索
User-agent: Googlebot
# 必应
User-agent: bingbot
# 360搜索
User-agent: 360Spider
# 搜狗
User-agent: Sogou Spider

# 允许正常搜索引擎抓取
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /class/
Disallow: /controller/
Disallow: /Aliyun/
# 禁止后台管理目录
Disallow: /admin/
Disallow: /bt/
# 禁止API接口、支付回调接口
Disallow: /api/
Disallow: /pay/
# 禁止配置、数据库、公共函数文件
Disallow: /*.php
Disallow: /.openclaw/
Disallow: /config/
Disallow: /db/
# 禁止临时、缓存、日志目录
Disallow: /tmp/
Disallow: /cache/
Disallow: /cache_html/
Disallow: /log/
Disallow: /logs/
# 禁止带参数搜索页面（避免重复收录）
Disallow: /*?*
Disallow: /management/
Disallow: /templates/
Disallow: /webconfig*.php
Disallow: /admin*.php
Disallow: /assemblyactivities*.php
# 禁止上传文件目录（防止泄露附件）
Disallow: /upload/temp/
# 允许静态图片、前端资源
Allow: /static/
Allow: /image/
Allow: /images/
Allow: /css/
Allow: /js/