Linux 已删除日志仍占用磁盘空间的排查方法

浏览量 22

删除日志路径后,已用空间可能维持不变。若进程仍持有打开的文件描述符,文件系统需要等到最后一个引用关闭后才能回收数据块。

先确认告警指的是哪一个文件系统

df -h /var/log
df -i /var/log
findmnt -T /var/log
sudo du -xhd1 /var/log | sort -h

这里用 /var/log 举例,实际要换成告警里的路径。df 统计的是整个文件系统,du 只加总从指定目录能遍历到的文件和目录。如果 /var/log 位于根文件系统,单算日志目录当然可能比根分区小很多。先用 findmnt 找到挂载点,再沿同一文件系统逐层找大目录。du -x 可以避免走进其他文件系统。

如果可用容量还有余量,df -i 却接近满,排查重点就转到大量小文件消耗的 inode。确认统计范围和权限后,如果目录可见占用仍解释不了差距,再检查有没有被删但仍被打开的文件。

用 8 MiB 的临时日志复现

下面的 Linux 实验只创建并删除自己生成的临时文件。它分别打印写入后、删除目录项后以及关闭文件后,相对起点的已用空间变化。

import os
import subprocess
import tempfile
from pathlib import Path

def used_bytes(path):
    report = subprocess.check_output(
        ["df", "-B1", "--output=used", str(path)], text=True
    )
    return int(report.splitlines()[1])

with tempfile.TemporaryDirectory() as directory:
    path = Path(directory) / "demo.log"
    baseline = used_bytes(directory)
    with path.open("wb") as log:
        log.write(b"x" * (8 * 1024 * 1024))
        log.flush()
        os.fsync(log.fileno())
        print("written:", used_bytes(directory) - baseline)

        path.unlink()
        print("unlinked:", used_bytes(directory) - baseline)
        print(os.readlink(f"/proc/self/fd/{log.fileno()}"))
        subprocess.run(["du", "-sh", directory], check=True)

    print("closed:", used_bytes(directory) - baseline)

实验中,写入和删除路径后,已用空间都比起点多 8 MiB,关闭文件后才回到起点。删除后,du 只看得到临时目录本身,而 /proc/self/fd/ 里的链接末尾有 (deleted)。路径已经从目录里移除,打开它的文件描述符仍然有效。等最后一个引用关闭后,文件系统才可以回收这些块。在运行中的系统上,其他进程的写入也可能让 df 的前后数字有波动。

在真实服务上先确认谁占着文件

sudo lsof +L1

对照输出里的进程名、PID、文件大小和路径,确认它属于告警的文件系统。多个进程或文件描述符可能指向同一文件,不能把每行大小直接相加。确认是轮转后的日志仍被占用时,先查该服务支持怎样重新打开日志,再安排操作。处理后用同一个路径复查 df,同时确认服务仍在写新的日志。

参考 GNU Coreutils 的空间统计说明和 Linux unlink 手册。

发表评论
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
☁ 场景与音乐
场景音乐
原创场景配乐,点击播放。