公告 新用户注册即享 免费 SSL 证书 · 域名批量查询单次支持 40 个 · 香港与内地节点均可自助开通
解决方案 帮助中心 关于我们
代理合作 控制台 登录 免费注册

robots.txt 生成器

勾选要放行或屏蔽的路径,右侧实时生成 robots.txt 文本,可直接复制到站点根目录。

规则设置

User-agent(按分组勾选,每个 UA 生成一段)
已选 1 / 43
不在列表里的爬虫在这里填;会与勾选项合并,重复名称只输出一段。不要带 User-agent: 前缀。
规则
这些规则只对分组策略为「按下方规则」的 User-agent 生效;策略为「全部允许」输出 Allow: /,为「全部禁止」输出 Disallow: /。勾选「禁止全站」后,其余规则会被停用。
必须是以 http 或 https 协议开头的完整地址;格式不对只会跳过这一行,不影响其他内容。
秒
百度支持这个指令,Google 已明确不支持,填了也只会被忽略。
已生成 1 个 User-agent 段。

生成结果


      
robots.txt 是自愿遵守的协议,不是访问控制。恶意爬虫、脚本扫描并不会理它,别把它当安全手段;后台、备份、日志等敏感目录必须靠账号鉴权或服务端权限保护。

这个工具用来做什么

robots.txt 是放在站点根目录下的一个纯文本文件,搜索引擎爬虫在抓取之前会先读它,据此决定哪些路径可以抓、哪些不要碰。它不能保护数据,但能减少无意义的抓取:后台、接口、临时目录、搜索结果页通常不需要被收录,放任爬虫反复抓取只会浪费服务器资源,还可能把内部页面暴露在搜索结果里。

手写这个文件不难,难在规则之间容易冲突:同一个路径既被允许又被禁止、多个 User-agent 段之间少了一个空行、Sitemap 写成了相对路径。这个生成器把常见规则做成勾选项,实时拼出符合语法的文本,并在你填错 Sitemap 时给出提示而不是生成一条坏记录。

表单怎么填

User-agent 决定这段规则对谁生效。* 表示所有没有被单独点名的爬虫,通常必须有这一段。给 Googlebot、Baiduspider 单独建段,是为了对某一家做特殊处理,例如允许 Google 抓取图片而限制百度。勾选「自定义」后可以填多个名称,用逗号分隔,每个名称会生成独立的一段,方便一次处理多个爬虫。

规则部分把常用路径做成了复选项。「允许根路径」对应 Allow: /,是放行的基础;「禁止 /admin/」「禁止 /api/」「禁止 /tmp/」分别屏蔽后台、接口与临时目录;「禁止带 ?s= 的搜索参数」用 /*?s= 挡住站内搜索结果,这类页面内容重复且数量近乎无限,是爬虫预算的黑洞;「允许 CSS / JS 资源」会额外放行 /*.css$ 与 /*.js$,因为搜索引擎需要这些资源才能正确渲染页面,屏蔽它们会直接影响收录质量。

勾选「禁止全站」时,其他规则会被停用,输出只剩 Disallow: /。这是一个「临时下线」用的配置,上线前记得改回来,否则站点会从搜索结果里逐渐消失。

Sitemap 要填完整地址,包含协议与域名,例如 xinyiidc.com/sitemap.xml 前面补上协议。工具只做格式校验,不会去访问这个地址;填错时输入框会描红并给出说明,这一行会被跳过,其他规则照常输出。Crawl-delay 是两次抓取之间的间隔秒数,百度支持,Google 已声明不支持,填了也不会生效,真正想控制 Google 的抓取频率应该用 Search Console 里的设置。

输出结果怎么解读

每一段以 User-agent: 开头,后面跟着属于它的规则,段与段之间空一行。同一段里,Allow 写在 Disallow 前面,这不是语法要求,而是为了读起来清楚:先看放行了什么,再看屏蔽了什么。路径按长度排序,/ 排在最前,越具体的路径越靠后。

规则匹配遵循「最长匹配优先」:Allow: / 与 Disallow: /admin/ 同时存在时,访问 /admin/login 会命中更长的那条 /admin/,因此被禁止;访问 /about 只命中 /,因此被允许。两家搜索引擎在长度相同时的取舍略有差异,所以尽量不要写出长度完全相同的 Allow 与 Disallow。

路径里的 * 匹配任意字符,$ 表示结尾,例如 /*.css$ 只匹配以 .css 结尾的地址,不会误伤 /style.css?v=2 之外的路径。Sitemap 放在文件末尾,不属于任何一段 User-agent,写一次即可。

常见情况

只想屏蔽后台,其他都放行

保留 * 一段,勾选「允许根路径」与「禁止 /admin/」,输出就是 Allow: / 加 Disallow: /admin/。注意后台的真实路径可能是 /wp-admin/ 或 /manage/,要按实际地址改,写错路径等于没写。更稳妥的做法是给后台加登录鉴权,而不是只靠 robots.txt。

站内搜索结果太多

勾选「禁止带 ?s= 的搜索参数」,生成 Disallow: /*?s=。它只挡住带这个参数的地址,正常页面不受影响。如果你的搜索参数不是 s,把规则改成实际参数名,例如 /*?keyword=。这类页面即使不抓取,也可能因为外部链接被索引成「仅有网址」的结果,要彻底避免需要配合 noindex。

站点临时下线

用「禁止全站」预设得到 Disallow: /,可以阻止爬虫继续抓取。但已经收录的页面不会立刻消失,它们会在一段时间后因为抓取失败而逐步减少。如果只是维护几小时,返回 503 状态码比改 robots.txt 更合适;长期下线则应该明确返回 410,让搜索引擎知道页面已经不存在。

使用限制与提醒

最重要的一点:robots.txt 是建议,不是访问控制。它依赖爬虫自觉遵守,恶意采集、脚本扫描、直接请求接口的程序完全不会读它。任何不希望被看到的目录——后台、备份、配置文件、日志——都必须靠账号鉴权、IP 白名单或服务端权限来保护,不能指望 robots.txt 挡住。

另一个常见误解是「禁止抓取等于禁止收录」。被 Disallow 的页面如果仍有外部链接,搜索引擎可能只根据链接文字建立一个「仅有网址」的索引项,标题和摘要都是空的。要阻止收录,应该让页面返回 noindex,并且允许爬虫抓取到它,否则爬虫看不到这个标记。

本工具生成的是规则文本,不会替你验证路径是否真实存在,也不会检查是否与 CDN、反向代理上的配置冲突。上线后建议在 Search Console 或百度的抓取诊断里实测一条 URL,确认规则按预期生效。

放置位置:文件必须叫 robots.txt,放在站点根目录,通过 站点域名/robots.txt 能直接打开。放在子目录里对整站无效;同一个域名下只能有一份,子域名需要各自单独放置。

下一步:把 robots.txt 放到站点根目录

文件生成后,还需要上传到根目录并通过域名访问验证。

推荐产品 域名注册 robots.txt 要放到站点根目录,域名与解析可以在同一个入口管理。 查询与注册域名
需要协助 提交工单 解析不生效或备案材料不确定,提交工单让专员核对。 提交工单