搜索引擎蜘蛛名大全、蜘蛛的作用是什么？

搜索引擎蜘蛛被称为网页蜘蛛（又名为爬虫程序），主要的作用就是抓取网站上的所有内容。简单一点理解，就是你的网站想通过搜索框收录显示，网站就需要网站先被蜘蛛抓取，在进行展示。

搜索引擎又名“蜘蛛程序”和“网页爬虫”甚至有的人直呼为网页机器人，其实这都名称都不重要。搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则，进行自动的抓取你网站的内容。那么，你知道多少个“搜索引擎”蜘蛛程序呢？跟着好推建站一起来了解下：

百度蜘蛛：Baiduspider

1、百度网页蜘蛛：Baiduspider-mobile

2、百度图片蜘蛛：Baidu-Thumbnail有的说是Baiduspider-image

3、百度新闻蜘蛛：Baiduspider-news

4、百度视频蜘蛛：Baiduspider-video

5、百度MP3搜索蜘蛛：Baidu-Transcoder

6、百度移动蜘蛛：baiduspider-mobile-gate

注：最常见的百度蜘蛛是Baiduspider和Baiduspider-image两种。

谷歌（Google）蜘蛛：Googlebot

Google蜘蛛当前称为“compatible; Googlebot/2.1”，还发现了Googlebot-Mobile

1、Google网页蜘蛛：Googlebot-Mobile

2、Google图片蜘蛛：Googlebot-Image

3、Google广告蜘蛛：Mediapartners-Google

4、Google质量蜘蛛：Adsbot-Google

搜搜蜘蛛：Sosospider 

搜搜网页蜘蛛：Sosospider

搜搜图片蜘蛛： Sosoimagespider   

360蜘蛛：360Spider，它在蜘蛛界中是最为勤奋的蜘蛛程序。

搜狗蜘蛛分别为：

搜狗蜘蛛：sogou spider

搜狗蜘蛛：Sogou inst spider

搜狗蜘蛛：Sogou News Spider

搜狗蜘蛛：Sogou web spider

搜狗蜘蛛：Sogou spider2

搜狗蜘蛛：Sogou blog

搜狗蜘蛛：Sogou Orion spider

搜狗蜘蛛名可以用Sogou来概括，上面具体有没有效，无法验证）

雅虎蜘蛛

雅虎中文蜘蛛：Yahoo! Slurp China

雅虎英文蜘蛛：Yahoo! Slurp

雅虎竞价蜘蛛：Yahoo ContentMatch Crawler/2.1

雅虎图片蜘蛛：Yahoo-MMCrawler

有道蜘蛛：YodaoBot

微软蜘蛛：msnbot

网页蜘蛛：MSNBot

图片及媒体蜘蛛：MSNBot-Media

新闻及blog蜘蛛：MSNBot-NewsBlogs

产品及购物蜘蛛：MSNBot-Products

学术蜘蛛：MSNBot-Academic

MSN蜘蛛：msnbot和msnbot-media（最常见的msnbot-media）

必应蜘蛛：bingbot (compatible; bingbot/2.0)

Alexa蜘蛛：ia_archiver

一淘网蜘蛛：EtaoSpider

还有一些国外的蜘蛛：

Altavista的蜘蛛：Scooter

Lycos的蜘蛛：Lycos_Spider_(T-Rex) 

Alltheweb的蜘蛛：FAST-WebCrawler/ 

INKTOMI的蜘蛛：Slurp  ASPSeek  ASPSeek 

东方网景 lanshanbot

日本某个蜘蛛 BSpider

另外还发现了一些国外的蜘蛛，如 YandexBot、AhrefsBot和ezooms.bot，国外蜘蛛对于我们中文站来说，作用很小。

每个搜索引擎都有自己的蜘蛛程序，如果你不想被某个蜘蛛程序抓取，可以采用robots.txt的方法来禁止抓取网站内容。这里我们提供一篇《robots.txt正确的写法和存放路径》供大家学习参考。