在网站建造过程中咱们会有一部分内容不期望被搜索引擎抓取到或者不期望其在互联网中呈现，那么要怎样办呢？我要怎样跟搜索引擎说你不要抓取我的xx内容呢？这时候robots就派上用场了。
Robots.txt是存放于网站根目录下用于规则搜索引擎对网站内容抓取范围的文本文件，就这么一句话能够解释robots.txt是什么，但是咱们需要注意的几点：
1.robots.txt必须存放在网站的根目录下。
2.其命名必须为robots.txt
3.Robots.txt是搜索引擎拜访网站的第一个页面
4.Robots.txt中必须指明user-agent
以上是关于什么是robots的说明。
