Python 生成器与日志流式处理

浏览量 10

处理日志时,很容易先写下 lines = f.readlines(),再筛选错误行。小文件里这样很方便;文件变大后,把所有行提前放进列表,就可能增加不必要的内存占用。

这时生成器的价值不是“语法更高级”,而是把处理方式从“先收齐,再处理”变成“取一条,处理一条”。要用好它,先要分清可迭代对象、迭代器和生成器的关系。

for 循环真正依赖的是什么

for 会先通过 iter(obj) 获取迭代器,然后不断调用 next();没有新元素时,迭代器用 StopIteration 表示结束,循环正常停止。

概念 关键特点 例子
可迭代对象 可以用 iter() 获取迭代器 列表、字符串、range、文件对象
迭代器 保存遍历状态,可以 next() 逐个取值 iter([1, 2, 3])
生成器 一种迭代器,可以由含 yield 的函数创建 逐条产出日志记录的函数

不要把“可迭代”直接等同于“能重复遍历”。列表每次可以产生一个新的迭代器,而文件对象、生成器本身也是迭代器,会推进自己的当前位置。

items = [1, 2, 3]
cursor = iter(items)
print(list(cursor))
print(list(cursor))
print(list(items))

运行结果:

[1, 2, 3]
[]
[1, 2, 3]

第二次结果为空,不是数据突然消失了,而是这个迭代器已经耗尽。iter(cursor) 也不会帮它回到开头;需要重新从列表获取迭代器,或者重新打开文件。

yield 把函数变成按需取值的过程

函数中出现 yield 后,调用函数得到的是生成器对象。代码会在取下一个值时执行,走到 yield 暂停,并保留局部变量和执行位置;下一次取值从暂停处继续。

def stages():
    print("start")
    yield "read"
    print("resume")
    yield "filter"

g = stages()
print("created")
print(next(g))
print(next(g))

运行结果:

created
start
read
resume
filter

这里的 created 先出现,说明创建生成器时还没有执行函数体。yield 也不是把整个函数永久结束,它交出当前值后,还能继续运行。

一个可以复现的日志筛选脚本

假设演示日志每行采用“时间、等级、消息”的格式,字段用空白分隔。目标是输出等级恰好为 ERROR 的记录,并附上原始行号。这里只处理这个约定格式,不把它当作适配所有 Nginx、JSON 或多行异常日志的通用解析器。

先在一个独立目录中创建演示日志 demo.log:

2026-11-03T10:00:00Z INFO started
2026-11-03T10:00:01Z ERROR database_timeout
2026-11-03T10:00:02Z INFO request_ok
2026-11-03T10:00:03Z ERROR upstream_unavailable

把下面代码保存为 log_errors.py:

import argparse
from pathlib import Path


def iter_errors(path):
    """Yield ERROR records one line at a time from the demo log format."""
    with Path(path).open(encoding="utf-8") as stream:
        for number, line in enumerate(stream, start=1):
            fields = line.split(maxsplit=2)
            if len(fields) >= 2 and fields[1] == "ERROR":
                yield number, line.rstrip("\n")


def main():
    parser = argparse.ArgumentParser(description="Stream ERROR records from a log")
    parser.add_argument("path", type=Path)
    args = parser.parse_args()
    count = 0
    for number, record in iter_errors(args.path):
        print(f"{number}: {record}")
        count += 1
    print(f"ERROR count: {count}")


if __name__ == "__main__":
    main()
python3 log_errors.py demo.log

本次使用 Python 3 实跑得到:

2: 2026-11-03T10:00:01Z ERROR database_timeout
4: 2026-11-03T10:00:03Z ERROR upstream_unavailable
ERROR count: 2

for line in stream 让文件按行读取,enumerate(..., start=1) 保留行号,yield 只把需要的记录交给调用方。等级按字段匹配,而不是搜索整行是否含有 ERROR,避免把消息正文中的同名单词误当成等级。

节省内存有条件,不代表所有操作都是流式的

脚本没有保存全部日志,也没有累积所有匹配记录,只保留当前行和计数器。但内存仍会受到单行长度、解码缓冲和下游处理影响,不能简单承诺“无论什么日志都只占固定几 KB”。

如果调用方写成 list(iter_errors(path)),所有匹配结果又会被收集到列表;如果先 sorted() 再输出,通常也需要积累数据。生成器只是提供惰性取值的能力,整个处理链是否节省内存,要看后续怎样消费它。

另外,生成器返回后,文件并没有被交给后台持续读取。上例只有消费生成器时才打开文件,遍历结束后由 with 关闭;如果提前停止并长时间持有生成器,可以在 try/finally 中主动调用它的 close(),不要只依赖垃圾回收。

什么时候该用生成器

数据较多、按顺序处理、结果无需反复访问时,生成器很合适,例如逐行读取日志、逐批消费接口结果。需要随机访问、重复遍历或多次排序时,列表可能更直接。先看数据怎样流动,再决定用什么容器,比为了使用 yield 而使用它更重要。

验证与参考

本文的迭代器耗尽、yield 执行顺序和日志筛选输出均使用演示数据验证。大文件中的实际内存占用和耗时,需要结合行长、磁盘速度及下游处理另做测量。

Python 官方教程:迭代器 · Python 官方教程:生成器

发表评论
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇
☁ 场景与音乐
场景音乐
原创场景配乐,点击播放。