robots.txt的写法是做搜索引擎优化的人员有必要知道的，但该如何写，制止哪些、答应哪些，这就要咱们自己设定了。
百度蜘蛛是一机器，它只认识数字、字母和汉字，而其间robots.txt就是最重要也是最开端和百度“对话”的内容。
当咱们的网站在没有建好的时分，咱们不希望百度来抓取咱们的网站，往往有人会制止百度来抓取。但是，这种做法是十分欠好的，这样会让百度蜘蛛很难再来到你的网站了。所以，咱们有必要现在本地建立网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的重复修正，会对你的网站有一定的晦气影响。
咱们的网站起先的robots.txt写法如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: * 的意思是，答应所以引擎抓取。
而Disallow: /wp-admin/和Disallow: /wp-includes/，则是制止百度抓取咱们的隐私，包括用户密码、数据库等。这样的写法既维护了咱们的隐私，也让百度蜘蛛的抓取最大化。
如果，你想制止百度蜘蛛抓取某一个页面，比方123.html，那就加一句代码“Disallow: /123.html/”即可。
robots.txt写好后，只需要上传到网站的根目录下即可。
