🔧 半年狂崩之谜:基地服务器 OOM 抢修实录

🔧 半年狂崩之谜:基地服务器 OOM 抢修实录

前言:又崩了

先交代一下背景。基地有台服务器,12 核 24G 内存,上面跑着 1Panel 面板 + 两个 Docker 容器(MySQL 和 vsftpd),基地的 FTP 和各种资料都在上面。它只能在校内网访问,平时没什么人动它。

然后这半年来,它隔三差五就整个假死——SSH 连不上、网站打不开,唯一的解决办法是跑去机房断电重启。持续了半年,一直没人管。

这次实在忍不了了,我约了个时间跑去机房,决心把它查个水落石出。

🕵️ 现场取证:唯一的数据中心

排查的第一步就撞了个软钉子。

按正常套路,内存出问题应该先看内核日志:

1
dmesg -T | grep -iE "out of memory|killed process" | tail -40

结果——什么都没有。因为服务器这半年重启了太多次,内核日志在重启后就没了。❌

不过转机在机房那台接在服务器上的显示器上:屏幕上还留着大量滚动日志,全是这一句:

1
Out of memory: Killed process xxx (unattended-upgr)

单个进程占了约 23.9 GB 内存(服务器总共才 24 GB),时间跨度正好是上次连续运行 65 天的最后阶段。凶手第一次露出了马脚:unattended-upgrades——Ubuntu 的系统自动更新服务。

🧠 根因链条:一个好心的服务怎么搞崩服务器

光看到凶手的名字还不够,得搞清楚它为什么吃内存。接着翻它的日志:

1
tail -50 /var/log/unattended-upgrades/unattended-upgrades.log

看到的现象很诡异:这个服务一天被启动 4~5 次(正常一两次就够了),而且每一次都只写到”初始化”阶段就戛然而止,后面”下载、安装”等内容一行都没有。

再翻 apt 的历史账本:

1
tail -20 /var/log/apt/history.log

文件是空的。 也就是说,这半年来没有一次升级真正完成过。登录时系统一直提示”268 个软件包可升级(含 132 个安全更新)”,全部积压着。

到这里根因链条就完整了:

积压的待升级包越滚越多 → 自动更新服务每次启动都在”计算要升级哪些包”这一步陷入超长计算 → 内存持续膨胀直到吃满 24G → 内核 OOM Killer 把它杀掉 → 系统又自动把它拉起来 → 再次膨胀 → 循环,每 4~20 小时一轮 → 整机假死 → 断电重启 → 无限循环

一个本意是”保护服务器安全”的服务,最后变成了搞崩服务器的凶手。讽刺但真实。

🔧 修复:三处根除 + 三项加固

根除:把自动更新彻底关掉

服务本体、触发定时器、apt 配置,三处全部关闭,防止它以任何方式复活:

1
2
3
4
5
6
7
8
# 1. 停掉并禁用服务本体
systemctl disable --now unattended-upgrades.service

# 2. 禁掉两个触发定时器
systemctl disable --now apt-daily.timer apt-daily-upgrade.timer

# 3. apt 配置里显式关闭(双保险)
echo 'APT::Periodic::Unattended-Upgrade "0";' > /etc/apt/apt.conf.d/20auto-upgrades

⚠️ 这里踩了两个小坑:一是 service/timer 名字要写全,写错只会静默失败;二是改完要用 apt-config dump | grep Unattended 验证配置真的生效了,眼见为实。

加固一:swap 扩容 2G → 8G

内存再被吃满时,8G 的交换空间能给系统留出安全关机和响应命令的余地,而不是直接假死:

1
2
3
4
swapoff /swapfile
fallocate -l 8G /swapfile && chmod 600 /swapfile
mkswap /swapfile && swapon /swapfile
free -h # 确认生效

加固二:日志持久化

之前内核日志重启就丢,排查全靠机房显示器。把 journald 开启持久化,以后出事有据可查:

1
2
mkdir -p /var/log/journal
systemctl restart systemd-journald

加固三:给 MySQL 容器设内存上限

防止任何容器重演”吃满全部内存”的历史,在 1Panel 里给它限制了 8G。

📋 复盘总结

项目 处理前 处理后
自动更新服务 每 4~20 小时膨胀到 24G 被杀 三处彻底关闭
交换空间 2 GB 8 GB
系统日志 重启即丢 持久化保存
排查证据 只剩机房显示器 随时可查

三条教训,每条都是这次用半年崩溃换来的:

  1. 服务器崩溃后别急着重启——重启会销毁现场,先拍下日志(这次全靠机房显示器没关 🙏)
  2. “自动”的东西也可能是故障源——自动更新、自动清理,出问题时都要列入嫌疑人名单
  3. 软件包长期不更新也是隐患——积压本身就会让某些服务的计算量失控

写在最后

修完之后观察了一周多,内存平稳、没有异常重启,总算能睡个安稳觉了。

不过这次排查中我还顺手做了一个决定——清理宿主机上一个”半配置状态”的 MySQL 软件包,当时的判断是”业务数据库都跑在 Docker 容器里,宿主机这个应该没用”。

这个判断后来结结实实地打了我的脸——基地的 OJ 系统数据库恰好就在宿主机 MySQL 里。欲知后事如何,且看下篇《基地OJ系统复活》😂

我们下一篇博客见!