robots.txt生成器
按需生成 robots.txt 文件。
禁止抓取的路径(每行一个,如 /admin/)
这个工具能做什么
robots.txt 告诉搜索引擎哪些页面能抓、哪些不能。选允许全部、禁止全部或自定义禁止路径,填上 sitemap 地址,工具生成规范的 robots.txt,放到网站根目录即可。别误把重要页面禁掉了,点复制带走。
处理全部在你自己的浏览器里完成,输入的内容不会上传到服务器,用着放心。
robots.txt生成器是一个免费的在线工具,打开网页就能用,不用下载也不用注册。平时大家搜的“robots.txt生成”、“robots生成器”、“robots文件”,说的都是这个。
使用方法
- 填入内容,或设置好选项。
- 点生成 / 分析 / 查询按钮。
- 结果显示在下方,点复制即可带走。