🔧 半年狂崩之谜:基地服务器 OOM 抢修实录
🔧 半年狂崩之谜:基地服务器 OOM 抢修实录
前言:又崩了
先交代一下背景。基地有台服务器,12 核 24G 内存,上面跑着 1Panel 面板 + 两个 Docker 容器(MySQL 和 vsftpd),基地的 FTP 和各种资料都在上面。它只能在校内网访问,平时没什么人动它。
然后这半年来,它隔三差五就整个假死——SSH 连不上、网站打不开,唯一的解决办法是跑去机房断电重启。持续了半年,一直没人管。
这次实在忍不了了,我约了个时间跑去机房,决心把它查个水落石出。
🕵️ 现场取证:唯一的数据中心
排查的第一步就撞了个软钉子。
按正常套路,内存出问题应该先看内核日志:
1 | dmesg -T | grep -iE "out of memory|killed process" | tail -40 |
结果——什么都没有。因为服务器这半年重启了太多次,内核日志在重启后就没了。❌
不过转机在机房那台接在服务器上的显示器上:屏幕上还留着大量滚动日志,全是这一句:
1 | Out of memory: Killed process xxx (unattended-upgr) |
单个进程占了约 23.9 GB 内存(服务器总共才 24 GB),时间跨度正好是上次连续运行 65 天的最后阶段。凶手第一次露出了马脚:unattended-upgrades——Ubuntu 的系统自动更新服务。
🧠 根因链条:一个好心的服务怎么搞崩服务器
光看到凶手的名字还不够,得搞清楚它为什么吃内存。接着翻它的日志:
1 | tail -50 /var/log/unattended-upgrades/unattended-upgrades.log |
看到的现象很诡异:这个服务一天被启动 4~5 次(正常一两次就够了),而且每一次都只写到”初始化”阶段就戛然而止,后面”下载、安装”等内容一行都没有。
再翻 apt 的历史账本:
1 | tail -20 /var/log/apt/history.log |
文件是空的。 也就是说,这半年来没有一次升级真正完成过。登录时系统一直提示”268 个软件包可升级(含 132 个安全更新)”,全部积压着。
到这里根因链条就完整了:
积压的待升级包越滚越多 → 自动更新服务每次启动都在”计算要升级哪些包”这一步陷入超长计算 → 内存持续膨胀直到吃满 24G → 内核 OOM Killer 把它杀掉 → 系统又自动把它拉起来 → 再次膨胀 → 循环,每 4~20 小时一轮 → 整机假死 → 断电重启 → 无限循环
一个本意是”保护服务器安全”的服务,最后变成了搞崩服务器的凶手。讽刺但真实。
🔧 修复:三处根除 + 三项加固
根除:把自动更新彻底关掉
服务本体、触发定时器、apt 配置,三处全部关闭,防止它以任何方式复活:
1 | # 1. 停掉并禁用服务本体 |
⚠️ 这里踩了两个小坑:一是 service/timer 名字要写全,写错只会静默失败;二是改完要用
apt-config dump | grep Unattended验证配置真的生效了,眼见为实。
加固一:swap 扩容 2G → 8G
内存再被吃满时,8G 的交换空间能给系统留出安全关机和响应命令的余地,而不是直接假死:
1 | swapoff /swapfile |
加固二:日志持久化
之前内核日志重启就丢,排查全靠机房显示器。把 journald 开启持久化,以后出事有据可查:
1 | mkdir -p /var/log/journal |
加固三:给 MySQL 容器设内存上限
防止任何容器重演”吃满全部内存”的历史,在 1Panel 里给它限制了 8G。
📋 复盘总结
| 项目 | 处理前 | 处理后 |
|---|---|---|
| 自动更新服务 | 每 4~20 小时膨胀到 24G 被杀 | 三处彻底关闭 |
| 交换空间 | 2 GB | 8 GB |
| 系统日志 | 重启即丢 | 持久化保存 |
| 排查证据 | 只剩机房显示器 | 随时可查 |
三条教训,每条都是这次用半年崩溃换来的:
- 服务器崩溃后别急着重启——重启会销毁现场,先拍下日志(这次全靠机房显示器没关 🙏)
- “自动”的东西也可能是故障源——自动更新、自动清理,出问题时都要列入嫌疑人名单
- 软件包长期不更新也是隐患——积压本身就会让某些服务的计算量失控
写在最后
修完之后观察了一周多,内存平稳、没有异常重启,总算能睡个安稳觉了。
不过这次排查中我还顺手做了一个决定——清理宿主机上一个”半配置状态”的 MySQL 软件包,当时的判断是”业务数据库都跑在 Docker 容器里,宿主机这个应该没用”。
这个判断后来结结实实地打了我的脸——基地的 OJ 系统数据库恰好就在宿主机 MySQL 里。欲知后事如何,且看下篇《基地OJ系统复活》😂
我们下一篇博客见!