蜘蛛抓取页面都是重复怎么处理？

网络蜘蛛抓取到网页数据后，需要做的处理工作包括哪些？是不是我做的哪里不对，每次蜘蛛是过来抓取页面，可是都是重复的页面，怎么提升蜘蛛抓取页面的问题？

首先，如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow；其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）；最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。

可以在重复抓取的页面中多添加内链 引导蜘蛛爬取

那就引导抓取新的