抓取的网站链接里面怎么会带蜘蛛的？有大神知道这是怎么回事吗？

如题，很奇怪，今天抓取了下网站链接，发现了这些玩意儿，有大神知道是怎么回事吗？第一次遇到

罗凌峰等 1 人赞同该回答

你先看看是不是有效链接

看下这些链接是否真实存在，不能正常访问，提交死链

先确定是否有这样的链接，查询一下状态看看。

如果使用的是pbootCMS的话就是用于后台统计蜘蛛数据的

这种是无效链接

是地图抓取软件的问题

不必理会、应该是模拟抓取的链接！

看下这些链接是否真实存在，不能正常访问，提交死链