浏览量 21
删除日志路径后,已用空间可能维持不变。若进程仍持有打开的文件描述符,文件系统需要等到最后一个引用关闭后才能回收数据块。
先确认告警指的是哪一个文件系统
df -h /var/log
df -i /var/log
findmnt -T /var/log
sudo du -xhd1 /var/log | sort -h
这里用 /var/log 举例,实际要换成告警里的路径。df 统计的是整个文件系统,du 只加总从指定目录能遍历到的文件和目录。如果 /var/log 位于根文件系统,单算日志目录当然可能比根分区小很多。先用 findmnt 找到挂载点,再沿同一文件系统逐层找大目录。du -x 可以避免走进其他文件系统。
如果可用容量还有余量,df -i 却接近满,排查重点就转到大量小文件消耗的 inode。确认统计范围和权限后,如果目录可见占用仍解释不了差距,再检查有没有被删但仍被打开的文件。
用 8 MiB 的临时日志复现
下面的 Linux 实验只创建并删除自己生成的临时文件。它分别打印写入后、删除目录项后以及关闭文件后,相对起点的已用空间变化。
import os
import subprocess
import tempfile
from pathlib import Path
def used_bytes(path):
report = subprocess.check_output(
["df", "-B1", "--output=used", str(path)], text=True
)
return int(report.splitlines()[1])
with tempfile.TemporaryDirectory() as directory:
path = Path(directory) / "demo.log"
baseline = used_bytes(directory)
with path.open("wb") as log:
log.write(b"x" * (8 * 1024 * 1024))
log.flush()
os.fsync(log.fileno())
print("written:", used_bytes(directory) - baseline)
path.unlink()
print("unlinked:", used_bytes(directory) - baseline)
print(os.readlink(f"/proc/self/fd/{log.fileno()}"))
subprocess.run(["du", "-sh", directory], check=True)
print("closed:", used_bytes(directory) - baseline)
实验中,写入和删除路径后,已用空间都比起点多 8 MiB,关闭文件后才回到起点。删除后,du 只看得到临时目录本身,而 /proc/self/fd/ 里的链接末尾有 (deleted)。路径已经从目录里移除,打开它的文件描述符仍然有效。等最后一个引用关闭后,文件系统才可以回收这些块。在运行中的系统上,其他进程的写入也可能让 df 的前后数字有波动。
在真实服务上先确认谁占着文件
sudo lsof +L1
对照输出里的进程名、PID、文件大小和路径,确认它属于告警的文件系统。多个进程或文件描述符可能指向同一文件,不能把每行大小直接相加。确认是轮转后的日志仍被占用时,先查该服务支持怎样重新打开日志,再安排操作。处理后用同一个路径复查 df,同时确认服务仍在写新的日志。
