设置文件, 并非难事, 只要你掌握基本的语法, 遵循相应规则, 耗费几分钟时间, 便可完成配置。许多人为此感到畏惧, 认为这属于技术层面事务, 实则它不过是供搜索引擎参考的“交通规则”, 只需写明需屏蔽的路径即可。
名为的文件, 是处于网站根目录下的文本文件, 其全名是.txt, 它具备的作用是向搜索引擎的爬虫告知, 哪些页面能够进行抓取, 哪些页面禁止抓取, 当爬虫对网站进行访问时, 所做的第一件事情便是去寻找这个文件, 并依照里面的规则来行事。
关于这个文件, 存有对协议的遵守情状, 而此协议又被称作爬虫协议, 它属于互联网上那种约定俗成的规则, 并非是强制性质的, 但是各个主流搜索引擎都会予以遵守, 要是你不想让某一个页面被收录进去, 同时又不想添加标签, 那么文件就是最为直截的手段。
然而, 必须留意, 文件仅仅能够阻拦爬虫进行抓取, 却无法阻拦内容被索引。要是其他网站链接了你的页面, 搜索引擎依旧存在收录的可能性。若想达成彻底屏蔽的目的, 那就需要配合 标签一同去使用。
其由一组指令所构成, 核心主要是两个, 分别是User-agent , 还有 , User-agent 用于指定对哪一个爬虫能够生效, 用于指定哪些路径是不能够去访问的。
1. 先是书写 User - agent, 紧接着接续爬虫姓名, 像什么 、。
2. 再写 ，后面跟着要屏蔽的路径
3. 在能够使用Allow的情形下, 能够实施例外放行, 其具备的优先级是高于的。
4. 用 可以告诉爬虫站点地图的位置
一个典型的 文件长这样：
User-agent:
: /admin/
: /tmp/
:
将这里设定为代表所有呈现爬行机制的爬虫, 其中 /admin/以及 /tmp/ 是两类被进行屏蔽处理的具体路径。 所表示的是朝着站点地图这个方向的指向, 其作用在于辅助那些具备爬行功能的爬虫能够以加快过程的速度来发现特定页面。
有不少人, 对于文件, 存在着误解, 致使进行配置的时候, 出现了错误 , 进而对SEO产生了影响。
误区一：文件能屏蔽所有爬虫
不对。唯有遵循协议的爬虫才会去瞧这个文件, 而恶意爬虫压根就不理会这一套。
误区二：文件能阻止页面被收录
不对, 它仅仅能够阻拦抓取, 却无法阻拦索引, 页面要是被别的网站进行链接, 同样有可能会被收录。
误区三：文件越复杂越好
错。规则越复杂，出错概率越高。保持简洁，只屏蔽必要的路径。
误区四：文件可以替代
错误, 它们二者发挥的作用并不相同, 负责进行抓取网页操作, 则负责网页内容的索引限制, 要是想要达成完全屏蔽的效果, 那么这两者都必须加以运用。
常常被混淆的是文件与标签, 然而它们所起的作用是全然不一样的。
| 对比项 | 文件 | 标签 |
|---|---|---|
| 作用对象 | 爬虫抓取行为 | 搜索引擎索引行为 |
| 生效位置 | 网站根目录 | 页面 HTML 头部 |
| 阻止收录 | 不能 | 能 |
| 阻止抓取 | 能 | 不能 |
| 适用场景 | 屏蔽敏感目录 | 屏蔽特定页面 |
两类加以配合一块儿运用成效最为理想, 像是后台管理界面, 借助文件去屏蔽抓取行为, 与此同时添加来避免被收录。
不同的建站平台, 其配置文件的方式存在差异, 接下来, 针对不同场景予以说明。
网站
有现成插件可用于管理的文件, 诸如Yoast SEO、Rank Math这类, 装完之后于设置里径直进行编辑, 无需去触碰代码, 要是没有插件呢, 能够在FTP里寻觅到根目录下的.txt文件, 借由文本编辑器修改过后上传予以覆盖。
网站
后台直接给出文件编辑入口, 进到 Store, 再进入, 接着找到.txt, 将内容粘贴上去保存就行, 会自动对语法进行验证, 要是有错误就会给出提示。
自建网站
想要自建网站, 就得在服务器根目录那儿手动去创建 .txt 文件, 用记事本亦或是代码编辑器把内容写好, 再上传至网站根目录, 务必要保证文件编码是 UTF-8 且没有 BOM 头, 不然爬虫就有可能解析失败。
配置 文件按以下步骤操作，保证不出错。
1. 打开文本编辑器，新建空白文件
2. 将“User-agent: *”写在第一行, 意味着对全部爬虫产生效力。
3. 逐行写 ，屏蔽不需要抓取的目录
4. 写上 地址，方便爬虫发现页面
5. 保存文件名为 .txt
6. 上传到网站根目录
7. 拿浏览器去访问, https: //你的域名/.txt 这个链接, 以此来验证它是否能够生效。
8. 通过 来进行测试, 或者借助百度站长平台加以测试。
Q：文件可以放在子目录吗？
不可以, 搜索引擎仅仅认可网站根目录下拥有的.txt, 处于子目录当中的文件将会被忽视。
Q：文件可以屏蔽整个网站吗？
能行。写上 : / 便能够将所有页面予以屏蔽, 致使整个站点都不让爬虫进入。
Q：文件改完多久生效？
当爬虫下次进行访问之际, 将会再次予以读取。通常在几天的时间范围之内会产生生效的情况, 能够借助站长平台所具备的抓取测试工具来开展验证。
Q：文件写错了会怎样？
要是写错了, 那么就极有可能致使重要页面遭受屏蔽, 进而对收录造成影响。在改完之后, 一定要运用测试工具去进行验证, 在确认没有错误之后才能够上线。
对于网站SEO而言, 文件属于基础工具, 其设置虽说简单, 可作用却很关键。要掌握基本语法, 避开常见误区, 而且为配合标签使用, 这样能让搜索引擎更精准地抓取以及索引你的内容。不同平台配置方式稍有差异, 不过核心逻辑是一致的。配好之后要定期验证, 以确保规则一直有效。
扫一扫咨询更多
Copyright @ 2014-2026 easyqi.cn All Rights Reserved.易企优 版权所有 [沪ICP备2022032232号] 易企优成立于2014年，以互联网搜索引擎优化营销服务为主营方向，集seo优化外包，seo网站优化，geo优化，AI搜索结果优化，关键词排名，SEM代运营服务，让中小企业的网站达到订单与品牌快速飞跃。