浏览量 27
内存耗尽和手动发送 SIGKILL 都可能使 Docker 容器以状态码 137 退出。应结合 OOMKilled 和退出时段的记录定位原因。
先保留退出现场
docker ps -a
docker inspect -f 'exit={{.State.ExitCode}} oom={{.State.OOMKilled}} finished={{.State.FinishedAt}}' CONTAINER
docker logs --tail 100 CONTAINER
把 CONTAINER 换成实际的容器名或 ID。记录本次退出时间,并按该时间范围筛选日志。OOMKilled=true 是 Docker 记录到内存耗尽事件的线索。如果显示 false,就继续对照同一时间的停止操作、部署记录和系统日志。即使应用也能主动返回 137,单凭这个数字仍不足以确认发生了什么。
用同一镜像制造两个 137
在启用了内存限制的 Linux Docker 实验机运行。两组容器都断开网络,第一组把内存上限设为 32 MiB,并把内存与 swap 的总上限设为同样的值。awk 只在这个容器里持续分配数据。保留退出容器,便于事后检查。
image=nginx:stable-alpine
docker run --name oom-lab --network none \
--memory 32m --memory-swap 32m \
--entrypoint awk "$image" \
'BEGIN { for (i=0; i<40000; i++) data[i]=sprintf("%04096d",i) }'
docker run -d --name kill-lab --network none \
--entrypoint sleep "$image" 30
docker kill --signal KILL kill-lab
docker inspect -f '{{.Name}} {{.State.ExitCode}} {{.State.OOMKilled}}' \
oom-lab kill-lab
docker rm oom-lab kill-lab
第一条 docker run 会以非零状态结束,实验仍需继续执行后面的命令。实测第一组是 137 true,第二组是 137 false。前者从内存配额和使用曲线入手,后者则需要追踪是谁、在什么时候让进程退出。
确认内存耗尽后,再看为什么触顶
先核对容器实际配置的上限,再对照退出前的内存趋势和当时的请求量。持续爬升与某次并发高峰的瞬间冲高,需要不同的复现办法。docker stats 适合看运行中的当前值,事故发生前的峰值要从已有监控里找。改并发、缓存或内存限额之后,用相同负载复测,观察峰值和容器重启次数。
参考 Docker 的容器资源限制说明。
