百度蜘蛛如何抓取网站？蜘蛛抓取网站流程：抓取URL-<内容质量评价-<索引库选择-<网页录入（在查找作用中展示）。理论上只需是外链，不管它的质量、形状怎样，都会起到引导蜘蛛爬行抓取的作用。
 
蜘蛛抓取系统是搜索引擎数据来源的重要保证，从一些重要的种子 URL 开始，通过页面上的超链接关系，不断的发现新 URL 并抓取，尽最大可能抓取到更多的有价值网页。对于类似百度这样的大型 spider系统，因为每时每刻都存在网页被修改、删除或出现新的超链接的可能，因此，还要对 spider 过去抓取过的页面保持更新，维护一个URL库和页面库。
 
假设你的内容质量相对较低，就会被直接放入低质量索引库，那么，它就很难被百度录入，从这个流程不难看出，网站的抓取频率，将直接影响站点的录入率与内容质量评价。
 
百度蜘蛛是如何工作的
百度搜索引擎蜘蛛为了提高爬行和抓取的效率，采用多个蜘蛛并发分布爬行。有两种策略。
a、深度优先
深度优先是顺着链接一直向前爬行，直到前面再也没有其他链接，然后返回第一个页面，沿着另外一个链接继续一直往前爬行。
b、广度优先
广度优先是指先爬行当前页面上的所有导出链接，然后再去爬行某一导出链接页面上的所有链接。
 
百度蜘蛛根据什么判断哪个更重要呢？
1，对用户的价值
内容独特，百度搜索引擎喜欢原创唯一的内容
主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取
内容丰富
广告适当
2，链接重要程度
目录层级——浅层优先
链接在站内的受欢迎程度
 
如何加强蜘蛛对网站的抓取？
优质原创内容对百度蜘蛛的吸引力非常巨大。我们需要给蜘蛛真正有价值的原创内容。如果蜘蛛能得到它喜欢的东西，它自然会在你的网站上留下很好的印象，并且经常常来。
同时，网站结构不应该太复杂，链接层次也不应该太深。也是蜘蛛的喜爱。
 
怎样分别百度蜘蛛？
查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +）