终于排查出来服务器流量异常的原因了。

是亚马逊的爬虫一直在爬取网站导致的。

我直接在后台禁用了亚马逊crawl.amazonbot.amazon爬虫的ip地址后流量就正常了。

为什么这个爬虫一直都在爬呢，就那几篇文章至于把我流量给爬爆了吗？？？我看流量日志是每五分钟爬一次，爬一次五分钟，带宽直接拉满，没搞清楚这个到底是什么问题。

让我想到了前几天看的博客园的倒闭原因，就是百度和其他的爬虫把网站的流量给爬爆了，然后博客园就不让百度爬了，后来没流量了，就g了。

我也是第一次遇到这种情况，谁能想到爬虫这么狠了，而且我这个还只是个静态网站就已经这样了。

倒是学会了使用nethogs和iftop来监控服务器流量问题。