Docker 容器退出码 137 与 OOM 排查

浏览量 27

内存耗尽和手动发送 SIGKILL 都可能使 Docker 容器以状态码 137 退出。应结合 OOMKilled 和退出时段的记录定位原因。

先保留退出现场

docker ps -a
docker inspect -f 'exit={{.State.ExitCode}} oom={{.State.OOMKilled}} finished={{.State.FinishedAt}}' CONTAINER
docker logs --tail 100 CONTAINER

把 CONTAINER 换成实际的容器名或 ID。记录本次退出时间,并按该时间范围筛选日志。OOMKilled=true 是 Docker 记录到内存耗尽事件的线索。如果显示 false,就继续对照同一时间的停止操作、部署记录和系统日志。即使应用也能主动返回 137,单凭这个数字仍不足以确认发生了什么。

用同一镜像制造两个 137

在启用了内存限制的 Linux Docker 实验机运行。两组容器都断开网络,第一组把内存上限设为 32 MiB,并把内存与 swap 的总上限设为同样的值。awk 只在这个容器里持续分配数据。保留退出容器,便于事后检查。

image=nginx:stable-alpine

docker run --name oom-lab --network none \
  --memory 32m --memory-swap 32m \
  --entrypoint awk "$image" \
  'BEGIN { for (i=0; i<40000; i++) data[i]=sprintf("%04096d",i) }'

docker run -d --name kill-lab --network none \
  --entrypoint sleep "$image" 30
docker kill --signal KILL kill-lab

docker inspect -f '{{.Name}} {{.State.ExitCode}} {{.State.OOMKilled}}' \
  oom-lab kill-lab
docker rm oom-lab kill-lab

第一条 docker run 会以非零状态结束,实验仍需继续执行后面的命令。实测第一组是 137 true,第二组是 137 false。前者从内存配额和使用曲线入手,后者则需要追踪是谁、在什么时候让进程退出。

确认内存耗尽后,再看为什么触顶

先核对容器实际配置的上限,再对照退出前的内存趋势和当时的请求量。持续爬升与某次并发高峰的瞬间冲高,需要不同的复现办法。docker stats 适合看运行中的当前值,事故发生前的峰值要从已有监控里找。改并发、缓存或内存限额之后,用相同负载复测,观察峰值和容器重启次数。

参考 Docker 的容器资源限制说明。

发表评论
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
☁ 场景与音乐
场景音乐
原创场景配乐,点击播放。