浏览量 9
处理日志时,很容易先写下 lines = f.readlines(),再筛选错误行。小文件里这样很方便;文件变大后,把所有行提前放进列表,就可能增加不必要的内存占用。
这时生成器的价值不是“语法更高级”,而是把处理方式从“先收齐,再处理”变成“取一条,处理一条”。要用好它,先要分清可迭代对象、迭代器和生成器的关系。
for 循环真正依赖的是什么
for 会先通过 iter(obj) 获取迭代器,然后不断调用 next();没有新元素时,迭代器用 StopIteration 表示结束,循环正常停止。
| 概念 | 关键特点 | 例子 |
|---|---|---|
| 可迭代对象 | 可以用 iter() 获取迭代器 | 列表、字符串、range、文件对象 |
| 迭代器 | 保存遍历状态,可以 next() 逐个取值 | iter([1, 2, 3]) |
| 生成器 | 一种迭代器,可以由含 yield 的函数创建 | 逐条产出日志记录的函数 |
不要把“可迭代”直接等同于“能重复遍历”。列表每次可以产生一个新的迭代器,而文件对象、生成器本身也是迭代器,会推进自己的当前位置。
items = [1, 2, 3]
cursor = iter(items)
print(list(cursor))
print(list(cursor))
print(list(items))
运行结果:
[1, 2, 3]
[]
[1, 2, 3]
第二次结果为空,不是数据突然消失了,而是这个迭代器已经耗尽。iter(cursor) 也不会帮它回到开头;需要重新从列表获取迭代器,或者重新打开文件。
yield 把函数变成按需取值的过程
函数中出现 yield 后,调用函数得到的是生成器对象。代码会在取下一个值时执行,走到 yield 暂停,并保留局部变量和执行位置;下一次取值从暂停处继续。
def stages():
print("start")
yield "read"
print("resume")
yield "filter"
g = stages()
print("created")
print(next(g))
print(next(g))
运行结果:
created
start
read
resume
filter
这里的 created 先出现,说明创建生成器时还没有执行函数体。yield 也不是把整个函数永久结束,它交出当前值后,还能继续运行。
一个可以复现的日志筛选脚本
假设演示日志每行采用“时间、等级、消息”的格式,字段用空白分隔。目标是输出等级恰好为 ERROR 的记录,并附上原始行号。这里只处理这个约定格式,不把它当作适配所有 Nginx、JSON 或多行异常日志的通用解析器。
先在一个独立目录中创建演示日志 demo.log:
2026-11-03T10:00:00Z INFO started
2026-11-03T10:00:01Z ERROR database_timeout
2026-11-03T10:00:02Z INFO request_ok
2026-11-03T10:00:03Z ERROR upstream_unavailable
把下面代码保存为 log_errors.py:
import argparse
from pathlib import Path
def iter_errors(path):
"""Yield ERROR records one line at a time from the demo log format."""
with Path(path).open(encoding="utf-8") as stream:
for number, line in enumerate(stream, start=1):
fields = line.split(maxsplit=2)
if len(fields) >= 2 and fields[1] == "ERROR":
yield number, line.rstrip("\n")
def main():
parser = argparse.ArgumentParser(description="Stream ERROR records from a log")
parser.add_argument("path", type=Path)
args = parser.parse_args()
count = 0
for number, record in iter_errors(args.path):
print(f"{number}: {record}")
count += 1
print(f"ERROR count: {count}")
if __name__ == "__main__":
main()
python3 log_errors.py demo.log
本次使用 Python 3 实跑得到:
2: 2026-11-03T10:00:01Z ERROR database_timeout
4: 2026-11-03T10:00:03Z ERROR upstream_unavailable
ERROR count: 2
for line in stream 让文件按行读取,enumerate(..., start=1) 保留行号,yield 只把需要的记录交给调用方。等级按字段匹配,而不是搜索整行是否含有 ERROR,避免把消息正文中的同名单词误当成等级。
节省内存有条件,不代表所有操作都是流式的
脚本没有保存全部日志,也没有累积所有匹配记录,只保留当前行和计数器。但内存仍会受到单行长度、解码缓冲和下游处理影响,不能简单承诺“无论什么日志都只占固定几 KB”。
如果调用方写成 list(iter_errors(path)),所有匹配结果又会被收集到列表;如果先 sorted() 再输出,通常也需要积累数据。生成器只是提供惰性取值的能力,整个处理链是否节省内存,要看后续怎样消费它。
另外,生成器返回后,文件并没有被交给后台持续读取。上例只有消费生成器时才打开文件,遍历结束后由 with 关闭;如果提前停止并长时间持有生成器,可以在 try/finally 中主动调用它的 close(),不要只依赖垃圾回收。
什么时候该用生成器
数据较多、按顺序处理、结果无需反复访问时,生成器很合适,例如逐行读取日志、逐批消费接口结果。需要随机访问、重复遍历或多次排序时,列表可能更直接。先看数据怎样流动,再决定用什么容器,比为了使用 yield 而使用它更重要。
验证与参考
本文的迭代器耗尽、yield 执行顺序和日志筛选输出均使用演示数据验证。大文件中的实际内存占用和耗时,需要结合行长、磁盘速度及下游处理另做测量。
