网站被 Sogou 蜘蛛给整崩溃了

最近几天歪猫跨境的网站频繁宕机，忙别的事情没顾得上查看原因，今天宕机更加频繁，一小时挂掉好几次，查看网站日志才发现是Sogou蜘蛛在爬网站，抓取过于频繁导致服务器的cpu超标。

网站大部分搜索流量都来自谷歌和百度，搜狗毛贡献没有，果断屏蔽掉。

在Robots.txt添加了规则，但是没有什么用，看搜狗文档说是文件生效要等。

User-agent: Sogou web spider/4.0 
Disallow: /

最后没有办法，直接把日志导出来，放Excel表里面把所有搜狗蜘蛛的IP地址拉出来，全部毙掉。

然后效果立竿见影，网站恢复如初。