robots.txt是搜索引擎访问网站时需要查看的第一个文件，是指定搜索引擎捕获网站内容范围的文本文件。当搜索蜘蛛访问网站时，它会首先检查网站根目录下是否有robots.txt，如果存在，访问范围会根据文件中的内容来确定。在网站建设的过程中，我们会有一些不想被搜索引擎捕获或者不想出现在互联网上的内容，那么我们该怎么办呢？我怎么能告诉搜索引擎你不应该抓住我的xx内容？这时，robots就派上了用场。