上线三个月左右的网站是否需要要那些垃圾蜘蛛屏蔽了？服务器目前负载还不大。

垃圾蜘蛛都得屏蔽掉。

之前，我看了教程，通过Robots.txt协议来控制蜘蛛抓取，结果没有任何作用，因为这玩意没几个蜘蛛会遵守，尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制，比如nginx的防止垃圾蜘蛛抓取的代码

建议屏蔽掉垃圾蜘蛛

建议屏蔽掉垃圾蜘蛛

负载大不大的，垃圾蜘蛛都得屏蔽掉。