蜘蛛反复爬取页面重复怎么办？

分析日志发现网站蜘蛛爬取页面重复，蜘蛛爬取页面重复性太多，导致一些页面没有多大作用，没有被收录起来，就是蜘蛛爬取页面问题，怎么引导蜘蛛爬取页面对？

做下蜘蛛引导

那就用蜘蛛喜欢的页面带动一下新链接，做个内链引导一下蜘蛛

相对而言，蜘蛛更喜欢去抓取那些权重高的、更新频率大的页面。蜘蛛重复抓取某个页面，这肯定有它的原因，我们要做的不是去看，还是应该去想，为什么蜘蛛不断重复的抓取这些页面！找到这个问题的内在原因，不仅可以帮助我们解决问题，同时也能以此为依据，去优化其他页面的抓取问题。