top后缀今天抓了但是有几个蜘蛛我不认识

  • top后缀今天抓了但是有几个蜘蛛我不认识已关闭评论
  • 58 次浏览
  • A+
所属分类：SEO教程
摘要

SEO课堂收录top后缀今天抓了但是有几个蜘蛛我不认识，

今天凌晨1点116.179.32.的抓了一次首页，然后到8点开始抓现在抓了…大家一起来看下top后缀今天抓了但是有几个蜘蛛我不认识吧。

<p>今天凌晨1点116.179.32.的抓了一次首页，然后到8点开始抓现在抓了120多个了其他蜘蛛都没抓只有百度</p><p>116.179.32.     31次<br></p><p>220.181.108.*      30次</p><p>上面的我知道，但是下面的我不认识，有大哥知道吗<br></p><p>113.24.224.155山西大同的1次</p><p>180.101.244.13江苏南京市13次</p><p>59.83.208.107江苏无锡市15次</p><p>220.196.160.96苏常州市28次</p><p><br></p><table><tbody><tr><td><br></td></tr></tbody></table>

简单两步即可识别百度蜘蛛一、查看UA信息如果UA信息不对，可以直接判断该蜘蛛为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景，分别如下：【移动UA】1、Mozilla/(linux;u;Android ) APPleWebKit/ (KHTML,like Gecko)Version/ Mobile Safari/ (compatible; Baiduspider/)2、Mozilla/ (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/ (KHTML, like Gecko)Version/ Mobile/13B143 Safari/ (compatible; Baiduspider-render/)【PC UA】1、Mozilla/(compatible; Baiduspider/ +)2、Mozilla/(compatible; Baiduspider-render/ +)【小程序UA】Mozilla/ (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/ (KHTML, like Gecko)Version/ Mobile/13B143 Safari/ (compatible; Baiduspider-render/ +)二、双向DNS解析认证第一步：DNS反查IP开发者可以对日志中访问服务器的IP地址进行反向DNS查找，判断某只spider是否来自百度搜索引擎，Baiduspider的hostname以.或. 的格式命名，非.或.即为冒充。在Linux/Windows/OS三种平台下，验证方法分别如下：1) 在Linux平台下，可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。2) 在Windows平台或者IBM OS/2平台下，可以使用nslookup IP命令反解IP：打开命令处理器，输入nslookup （IP地址）就能解析IP，判断该抓取是否来自Baiduspider。3) 在macOS平台下，可以使用dig命令反解IP：打开命令处理器输入dig -x （IP地址）就能解析IP，判断该抓取是否来自Baiduspider。第二步：对域名运行正向DNS查找对第一步中通过命令检索到的域名运行正向DNS查找，验证该域名与日志中访问服务器的原始IP地址是否一致，IP地址一致可确认spider来自百度搜索引擎，IP地址不一致即为冒充。【示例】

host

domain name pointer

has address

你这太费劲了 直接用那个真假蜘蛛IP查询难道不好么，直接输入ip就能判定出是否是蜘蛛