搜索引擎的蜘蛛程序是一只有思维、有辨别能力的蜘蛛。我们别把它当成单纯的网站内容搬运工，它在读取你内容的时候，它会对这些内容进行价值以及其他方面的辨别。作为网站的管理员，要研究蜘蛛的规则、爬取规律等，与搜索引擎的蜘蛛打交道也是重要的一门学问。

基本当搜索引擎收录了站点之后，并且也已经能够看到搜索引擎收录的数量，我们所希望的一定是让搜索引擎收录更多的页面。如果要提高搜索引擎的收录量，大量增加网站内容是其一。我们更多要做的是为搜索引擎的蜘蛛程序打造一个良好的网站结构。优化网站内部链接，良好的网站结构会让蜘蛛顺着链接，一层层的读取网站的内容。网站结构差的网站，会让蜘蛛感觉走进了迷宫。如果你的网站很庞大，最好是建立清晰的网站导航、全面的网站地图等用户体验应用，这样做能够引导蜘蛛也方便网站的用户。

还有最重要的一点就是网站要有真正实际的内容，每天可写些相关原创文章。这样搜索引擎的蜘蛛自然会每天光顾您的网站,自然会收录网站更多的页面。