搜搜引擎蜘蛛是一个主动抓取互联网上网页内容的程序,每个查找引擎都有自己的蜘蛛。
查找引擎蜘蛛也叫查找引擎爬虫、查找引擎robot。
国内各大查找引擎蜘蛛名称:
百度:百度spider
谷歌:googlebot
搜狗:sogou spider
搜搜:Sosospider
360查找:360Spider
有道:YodaoBot
yahoo:Yahoo Slurp
必应:msnbot
Msn:msnbot
以上是常见的查找引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么能够经过robots.txt来限制爬虫的抓取。