这个工具用来做什么
robots.txt 是放在站点根目录下的一个纯文本文件,搜索引擎爬虫在抓取之前会先读它,据此决定哪些路径可以抓、哪些不要碰。它不能保护数据,但能减少无意义的抓取:后台、接口、临时目录、搜索结果页通常不需要被收录,放任爬虫反复抓取只会浪费服务器资源,还可能把内部页面暴露在搜索结果里。
手写这个文件不难,难在规则之间容易冲突:同一个路径既被允许又被禁止、多个 User-agent 段之间少了一个空行、Sitemap 写成了相对路径。这个生成器把常见规则做成勾选项,实时拼出符合语法的文本,并在你填错 Sitemap 时给出提示而不是生成一条坏记录。
表单怎么填
User-agent 决定这段规则对谁生效。* 表示所有没有被单独点名的爬虫,通常必须有这一段。给 Googlebot、Baiduspider 单独建段,是为了对某一家做特殊处理,例如允许 Google 抓取图片而限制百度。勾选「自定义」后可以填多个名称,用逗号分隔,每个名称会生成独立的一段,方便一次处理多个爬虫。
规则部分把常用路径做成了复选项。「允许根路径」对应 Allow: /,是放行的基础;「禁止 /admin/」「禁止 /api/」「禁止 /tmp/」分别屏蔽后台、接口与临时目录;「禁止带 ?s= 的搜索参数」用 /*?s= 挡住站内搜索结果,这类页面内容重复且数量近乎无限,是爬虫预算的黑洞;「允许 CSS / JS 资源」会额外放行 /*.css$ 与 /*.js$,因为搜索引擎需要这些资源才能正确渲染页面,屏蔽它们会直接影响收录质量。
勾选「禁止全站」时,其他规则会被停用,输出只剩 Disallow: /。这是一个「临时下线」用的配置,上线前记得改回来,否则站点会从搜索结果里逐渐消失。
Sitemap 要填完整地址,包含协议与域名,例如 xinyiidc.com/sitemap.xml 前面补上协议。工具只做格式校验,不会去访问这个地址;填错时输入框会描红并给出说明,这一行会被跳过,其他规则照常输出。Crawl-delay 是两次抓取之间的间隔秒数,百度支持,Google 已声明不支持,填了也不会生效,真正想控制 Google 的抓取频率应该用 Search Console 里的设置。
输出结果怎么解读
每一段以 User-agent: 开头,后面跟着属于它的规则,段与段之间空一行。同一段里,Allow 写在 Disallow 前面,这不是语法要求,而是为了读起来清楚:先看放行了什么,再看屏蔽了什么。路径按长度排序,/ 排在最前,越具体的路径越靠后。
规则匹配遵循「最长匹配优先」:Allow: / 与 Disallow: /admin/ 同时存在时,访问 /admin/login 会命中更长的那条 /admin/,因此被禁止;访问 /about 只命中 /,因此被允许。两家搜索引擎在长度相同时的取舍略有差异,所以尽量不要写出长度完全相同的 Allow 与 Disallow。
路径里的 * 匹配任意字符,$ 表示结尾,例如 /*.css$ 只匹配以 .css 结尾的地址,不会误伤 /style.css?v=2 之外的路径。Sitemap 放在文件末尾,不属于任何一段 User-agent,写一次即可。
常见情况
只想屏蔽后台,其他都放行
保留 * 一段,勾选「允许根路径」与「禁止 /admin/」,输出就是 Allow: / 加 Disallow: /admin/。注意后台的真实路径可能是 /wp-admin/ 或 /manage/,要按实际地址改,写错路径等于没写。更稳妥的做法是给后台加登录鉴权,而不是只靠 robots.txt。
站内搜索结果太多
勾选「禁止带 ?s= 的搜索参数」,生成 Disallow: /*?s=。它只挡住带这个参数的地址,正常页面不受影响。如果你的搜索参数不是 s,把规则改成实际参数名,例如 /*?keyword=。这类页面即使不抓取,也可能因为外部链接被索引成「仅有网址」的结果,要彻底避免需要配合 noindex。
站点临时下线
用「禁止全站」预设得到 Disallow: /,可以阻止爬虫继续抓取。但已经收录的页面不会立刻消失,它们会在一段时间后因为抓取失败而逐步减少。如果只是维护几小时,返回 503 状态码比改 robots.txt 更合适;长期下线则应该明确返回 410,让搜索引擎知道页面已经不存在。
使用限制与提醒
最重要的一点:robots.txt 是建议,不是访问控制。它依赖爬虫自觉遵守,恶意采集、脚本扫描、直接请求接口的程序完全不会读它。任何不希望被看到的目录——后台、备份、配置文件、日志——都必须靠账号鉴权、IP 白名单或服务端权限来保护,不能指望 robots.txt 挡住。
另一个常见误解是「禁止抓取等于禁止收录」。被 Disallow 的页面如果仍有外部链接,搜索引擎可能只根据链接文字建立一个「仅有网址」的索引项,标题和摘要都是空的。要阻止收录,应该让页面返回 noindex,并且允许爬虫抓取到它,否则爬虫看不到这个标记。
本工具生成的是规则文本,不会替你验证路径是否真实存在,也不会检查是否与 CDN、反向代理上的配置冲突。上线后建议在 Search Console 或百度的抓取诊断里实测一条 URL,确认规则按预期生效。
robots.txt,放在站点根目录,通过 站点域名/robots.txt 能直接打开。放在子目录里对整站无效;同一个域名下只能有一份,子域名需要各自单独放置。