文件呀 这个 其实呀 全名叫
也就是机器人排除标准的意思 目的是为了告诉搜索引擎爬虫哪些页面不能爬取啥啥啥 这样网站可以更好地掌控自身信息被抓取 比如说涉及用户隐私或者不想被搜索引擎收录展示的一些后台管理页面就能被隐藏起来。要说这文件位置就在网站根目录，文件名就叫“.txt” 要是不了解这东东布局就非常重要呀 写错一点啥说不定都对网站抓取收录造成问题
先来聊一下格式。格式上 咱一般是一行一个规则
像User-Agent部分
1. 用来指定该规则针对的搜索引擎爬虫
就比如User-agent： 代表这规则针对谷歌爬虫
再要是User-agent： * 那就表示针对所有爬虫 得弄清楚噢
2. 再有
表示禁止访问爬虫一些特定路径
像： /admin/代表爬虫不能爬到网站后台管理目录这里
3. Allow表示允许访问
像Allow： //规定说爬虫就可以访问网站//这个目录
以上是常用参数
说完文件书写。还得讲讲设计小诀窍！首先 清晰原则。
文件各参数规则得清晰的。内容安排要系统有条理 用户和搜索引擎一看就知道意图。这好比制作说明书，如果里头写得乱七八糟 大家要么照着乱来 要么就干脆做不起来。
再就是准确性原则。明确给出禁止或者允许范围 范围大少了都会带来各种结果。咱们想象呀 该Allow的目录不Allow或不该在里头给放起来 之后的效果也就违背咱们想在搜索引擎展现网站的构想还有灵活性与兼容性原则。随网站自身更新，及时更新 文件规则。
咱们随便说个，到底为何是根目录？ 有好处的为啥放根目录？ 一来搜索引擎爬虫按惯例会先跑到网站根目录看看这文件 放在这里那搜索引擎能容易找到并且直接依据规则行动，要是放别的深位置搜索引擎不知道那儿，文件相当于白整没啥用效果 白做很多功夫 这能少产生无效抓取提升效率；二来利于维护！
也常常想，有其他写法吗也比较这个想法。当然！别的不同的搜索引擎啊对这个规则的接受和反应或许存在不一样，某些特定引擎 虽然符合标准写入，他们特定的技术处理中带来某些预料到和预料不到偏差得微调参数！也有一些新平台，他们对于爬虫等管理有独特地方或许对传统文件上小小改革
说完基础参数功能、格式规则布置小诀窍。得了解和其他优化工具交互 比如结合网站内关键字密度 或者在服务器配置等辅助上，要思考参数联动 如果错误就事倍功半。举个例子
假设咱调整服务器设置而没相应更新这文件呢抓取得不好或者没有覆盖范围 咱们网页更新修改 文件没及时修改。
最后的话，我认为 网站得对文件认真摆弄处理好细节。这个 文件，关乎在网络中想给外界看到真面貌以及方便搜索引擎收录检索展现。别小看！稍有差池可不是闹着玩，好好折腾折腾，对网站上线推广十分有作用，一定 好好弄噢得用心，这个用心 说不定效果就在后台数据呀展现！别偷懒一定得上心尽力好好摆弄这个文件。在网海，让咱们小天地能更快被发现展示真风采！真真心心关注这细致东西嘛 咱努力嘛打造亮点。别觉得不重要 以后真要用有后悔的事了咋办。重视下别掉以轻心别瞎搞就行的要明白！不能当耳旁风！
扫一扫咨询更多
