Linux 日志重定向与 pipefail

浏览量 17

命令在终端里能看见报错,写进定时任务后日志却是空的;或者脚本经过 tee 保存日志,明明前一步失败,退出码仍然是 0。这两类问题都和输出数据流有关。

理解管道与重定向,关键是分清三件事:命令把内容写到哪个文件描述符,Shell 怎样改变它的去向,以及管道最后如何判断成功。以下实验用于验证这三项行为。

先分清标准输出和标准错误

进程通常继承三个标准文件描述符:0 对应标准输入,1 对应标准输出,2 对应标准错误。正常情况下,1 和 2 都连着终端,所以肉眼看起来混在一起,但它们仍是两条独立的数据流。

描述符 名称 在本文实验中的用途
0 stdin 接收上一条命令传入的数据
1 stdout 输出 normal
2 stderr 输出 error

先准备一个函数,让正常输出和报错内容都固定下来。这样观察到的差异就来自重定向,而不是某条外部命令的版本或报错语言。下面命令使用 Bash,在新建的临时目录内运行。

workdir=$(mktemp -d /tmp/redirect-lab.XXXXXX)
cd "$workdir" || exit 1

emit() {
    printf 'normal\n'
    printf 'error\n' >&2
}

为什么 > file 2>&1 能收住两路输出

emit > both.log 2>&1
cat both.log

实跑结果:

normal
error

> both.log 先让描述符 1 指向文件,2>&1 再让描述符 2 复制描述符 1 此刻的去向。因此,两种输出都会写进文件。这里的 &1 指文件描述符 1,不是名叫“1”的文件。

把顺序倒过来,结果就变了:

emit 2>&1 > stdout.log
cat stdout.log

第一条命令仍在终端输出 error,随后查看文件只能看到 normal。原因是 Shell 从左往右处理重定向:先让 2 复制当时仍连着终端的 1,再单独把 1 改到文件。后一次修改不会把 2 一起带走。

写法 标准输出去哪 标准错误去哪
> file 2>&1 file file
2>&1 > file file 原来的标准输出目的地

管道默认只接标准输出

普通的 | 把前一个命令的标准输出接到后一个命令的标准输入,不会自动接走标准错误。可以把错误另存,观察进入管道的究竟是什么:

emit 2> error.log | sed 's/^/pipe: /'
cat error.log

第一行命令显示 pipe: normal,错误文件里是 error。如果希望两路内容都进入管道,要先合并:

emit 2>&1 | tee run.log

tee 从标准输入读数据,同时写到终端和文件。它默认覆盖文件,追加已有日志时使用 tee -a。这很适合在人工操作时同时观察结果、保留记录。

保存了日志,为什么退出码还会误报成功

日志是否完整,和命令是否成功,是两件事。默认情况下,管道使用最后一个命令的退出状态;前面的程序失败,而 tee 成功,整条管道就可能返回 0。

set +o pipefail
false | tee pipeline.log > /dev/null
printf 'default status: %s\n' "$?"

set -o pipefail
false | tee pipeline.log > /dev/null
printf 'pipefail status: %s\n' "$?"

本次 Bash 实验输出:

default status: 0
pipefail status: 1

开启 pipefail 后,只要管道中有命令失败,管道就返回最右侧失败命令的非零状态。它不是自动重试,也不负责回滚;它只是让调用方能够发现中途失败。

如果要定位是哪一段失败,可在管道结束后立即保存 PIPESTATUS。不要先执行 echo $? 再读取它,因为新的命令也会更新状态。

false | true
statuses=("${PIPESTATUS[@]}")
printf 'each stage: %s\n' "${statuses[*]}"

放回运维脚本里,应该怎样使用

需要在屏幕和文件中同时记录输出时,常见组合是 command 2>&1 | tee -a run.log,再配合 set -o pipefail 检查失败。日志能帮助解释发生了什么,退出状态则决定下一步是否继续。

还有两个容易忽略的细节:> 会在命令执行前打开并截断目标文件,即使命令稍后失败,原内容也可能已经丢失;2>/dev/null 只是丢弃错误文本,不会让失败变成成功。排障时先保留报错,往往比急着让终端“干净”更有用。

复现范围

文中的 normal/error、日志分流和默认管道/pipefail 退出码,已在 Ubuntu 服务器上的隔离临时目录中验证。示例依赖 Bash;迁移到 #!/bin/sh 脚本前,需要先确认所用语法是否受支持。

参考

GNU Bash:Redirections · GNU Bash:Pipelines

发表评论
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
☁ 场景与音乐
场景音乐
原创场景配乐,点击播放。