百度爬虫又称百度蜘蛛、网络机器人，蚂蚁、蠕虫等等。百度爬虫是以文字信息抓取内容的，网站里最好减少相应的图片和视频，能用文字介绍的尽量用文字阐述，百度蜘蛛是网站和用户之间的信息搬运工，抓取网站内容通过搜引库呈现给客户。
   如图所示，蜘蛛从搜引区出发抓取网页的信息，他会将抓取到符合规则的内容带回临时库，不符合规则的内容直接清理掉，最后他会将合格的内容展现给搜索引擎查询。
   百度蜘蛛分为pc/移动通吃蜘蛛，也有移动端专属蜘蛛，他们接到的命令识别大部分都是一样的。
关于蜘蛛抓取的频率：如果你是一个新的网站，百度对于新站是有保护周期的，会有30天的新站特权，在这30天里，网站内容的发布和更新百度蜘蛛都会优先抓取和收录，一般的抓取频次是根据网站的大小，受用户喜欢的程度和更新频率，系统自动调整的。
   不管新网站还是老网站，在文章的内容更新上一定要保持原创，文章的TDK布局很重要，好的标签布局不会有重复的关键词和句子，文章的质量要比数量重要的多，最好是能每天定时定点的在一个时间段发布文章，让百度蜘蛛对我们也有一个相对的守时概念，如果网站的文章或者标签有多次重复的百度蜘蛛不会收录信息，因为百度的搜引库里有大量的相似信息都没有被收录过，长期还会导致网站被K或者降权。
   文章中还必须注意的一点是规避关键词堆砌，什么是关键词堆砌：关键词堆砌就是文章中用大量的重复关键词来提高关键词的密度达到关键词排名的效果，TDK的关键词布局一定要注意设计，譬如：上海SEO优化、上海SEO、上海SEO推广、上海SEO外包... 这类的重复关键词意义并不大可能还会被百度蜘蛛判断你是违规操作，不妨可以试试： 上海SEO优化推广公司，这种形式的搭配对关键词的影响虽然不是很大，但是可以提升关键词的点击率和展示结果。