这段时间真被百度爬虫玩死
近期网站突然变得很慢，其它慢也有一段时间了，只是原来还能接受，但近一周来，大家反映说根本无法浏览。开始我还以为硬盘寿命差不多了，担心数据库又会受损，故急忙购买固态硬盘（固态硬盘速度更快，也不容易坏）换上。
其实换上很快，把原来的网站文件及数据库文件转移到新盘上，改一下盘符就可以了。
原以为换上后就能好起来，可是浏览起来还是没有改观。
我都开始怀疑人生了。
为了确实是否是数据库问题，我换上了2017年数据库，但速度一样非常慢，所以，数据库是没问题的。
以为了网站有些外链慢造成本身自己慢，又找到DZ论坛上那些已经过时的内部链接，去除掉。但还是没有改善。
网站慢主要反应在：
1、CPU占用达到92%，其实系统一直留着8%是为是服务不挂，所以，92%就是满载状态。
2、带宽全被占用的，5M的带宽，基本也被占完了。
以上两点，也就造成了网站一直等待响应的原因。
但由于网站刷出来后，底部显示的加载时间又是非常低，一般只有0·1秒，所以数据库应该是正常的，网站程序本身应该也是正常的。
查了IIS的日志，发现整个日志都被百度爬虫给占满了，每秒钟至少都有几十次的爬虫记录。
查了一下百度站长的后台，百度每天爬虫次数竟然超过120万次的数量。
百度就是个成事不足，败事有余的家伙，明经站在百度的权重那么低，却每天派那么大爬虫来挤占带宽，太可恶了。
我通过设置网站的robots.txt 文件，设置.htaccess文件来屏蔽爬虫，百度站长后台设置降低爬虫次数为最低值（7万多），竟然都无效，爬虫还是象病毒一样，没有消减。
最后没有办法，通过安全平台，把爬虫的IP地址给禁止了，这下消停了，网站一下子就恢复正常。
这是正常后的CPU占用情况，已经非常低了。
这次的排查，也把一年多来登录慢的问题也解决了，相当于网站基本都恢复正常状态。
百度去死吧，技术水平不行，就不要假装提供搜索服务来赚钱。
本帖最后由 bssurvey 于 2020-7-27 08:25 编辑
其實，還是感謝mccad無私的貢獻，或許百度有百度的思維，就當作是一種磨鍊吧，沒有的百度的百般磨鍊，哪來今天的成就，放寬心，世界更美好，大家共勉之。 现在的世界看不懂了，我另一台电脑主要是备份用的，今天偶尔用了一下，好多功能居然不能用了，查了半天，NND，是电脑管家在做怪，电脑上所有包含ACAD,*acad*的文件全部自动康概的给我屏蔽了，傻蛋电脑管家。 终于好了，对以往明经论坛慢得压抑不爽的心情终于落地奔放了。
我还以为是老坛主穷得交不起网站服务费，用了免费的空间呢。
这下天终于亮了。真是太爽了。 站长辛苦了！~~ 干死百度这个垃圾 干她娘的度娘 感谢站长，辛苦了。 太可恶了，这些有钱人竟这样搞。 百毒垃圾真是不想说了，感谢终于找到原因好了。 老大，感谢有您，又费时又费力又花钱，给我们提供那么好的学习交流平台。 明总辛苦了，百度越来越*了