【事故报告】7.7凌晨意外下线

xiaoqianWX

时间：7.7 02:52 - 03:26
原因：nginx proxy manager抽风，来源未知

具体信息：
02:53接到报告论坛无法访问，阿里云查看发现服务器占用拉满硬盘读取拉满，无法ssh至服务器
第一次尝试重启并没有使用强制，服务器无法被安全关闭，在达到10分钟限制时触发强制重启
重启后发现占用依然居高不下，发现问题来源于nginx proxy manager的一个python进程，同时无法正常登录nginx proxy manager
查看log发现nginx proxy manager一直在尝试安装某个最新版本的包，而因为服务器使用的nginx proxy manager自2024.3论坛开放以后从未更新，使用的依然是python 3.7，导致无法安装，陷入死循环
发现问题后，运营组先将论坛和nginx proxy manager的docker容器关闭，然后修改compose.yaml为更新版本的nginx proxy manager，重新拉取启动，经测试修复全部问题
但是运营组并不明白为什么明明他要安的包几个月前照理来说就不能正常安装了，但是之前迁移时拉取容器配置论坛都没出任何问题，在一个非常随机的时候突然发生，经努力后认为源头难以排查且没有必要，遂放弃

NaTyphoon