禁止百度抓取这些页面是这样吗

  • 禁止百度抓取这些页面是这样吗已关闭评论
  • 45 次浏览
  • A+
所属分类：站长资讯
摘要

SEO课堂收录禁止百度抓取这些页面是这样吗，Disallow: /*/feed这样就是禁止蜘蛛抓这些网址？有没有Robots…大家一起来看下禁止百度抓取这些页面是这样吗吧。

Disallow: /*/feed

这样就是禁止蜘蛛抓这些网址？

有没有Robots禁止蜘蛛抓取，可以去百度站长里面robots哪里去提交验证

截图里的状态是请求成功的，你可以加上之后模拟抓取试试

200说明是正常访问的

1、有没有Robots禁止蜘蛛抓取，可以去百度站长里面robots哪里去提交验证；2、查看下这个URL地址是否有被封禁成功。