你的女神,可能坐在别人的宝马里,尽管她在哭。
最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于那些不必要的蜘蛛,时不时来抓取我们的网站,要不要屏蔽掉呢?