如何用PHP的XMLReader和XMLWriter处理大文件

PHP 的 XMLReader 和 XMLWriter 可流式处理 GB 级 XML 文件，不加载全文到内存；XMLReader 逐节点读取、内存仅数百 KB，XMLWriter 边写边输出、实时生成，二者组合可实现边读边转的低内存 ETL 处理。

用 PHP 的 XMLReader 和 XMLWriter 处理大 XML 文件，核心是**流式读写、不加载全文到内存**。它们专为节省内存而设计，适合 GB 级 XML——只要逻辑清晰、节点边界明确，就能稳定运行。

用 XMLReader 逐节点流式读取

XMLReader 是只读游标式解析器，像“文件指针”一样前进，每次只载入当前节点（甚至可配置为只读特定标签）。它不构建 DOM 树，内存占用通常仅几百 KB。

• 创建实例后调用 open() 打开文件（支持本地路径、URL、甚至 php://memory）
• 用 read() 向前移动到下一个节点；用 moveToElement() 或 moveToAttribute() 切换上下文
• 通过 nodeType 判断类型（XMLReader::ELEMENT、XMLReader::TEXT、XMLReader::END_ELEMENT）来识别开始标签、文本内容、结束标签
• 对目标元素（如 ），可用 readInnerXML() 获取其完整子树（仍流式，不全载入），或配合 expand() 转成 SimpleXML/DOMNode 做局部处理

示例：提取所有 下的 文本

$reader = new XMLReader();
$reader->open('books.xml');
while ($reader->read()) {
    if ($reader->nodeType == XMLReader::ELEMENT && $reader->localName == 'title') {
        $reader->read(); // 移动到 TEXT 节点
        if ($reader->nodeType == XMLReader::TEXT) {
            echo $reader->value . "\n";
        }
    }
}
$reader->close();

用 XMLWriter 流式生成大 XML 文件

XMLWriter 是“边写边输出”的生成器，调用 writeElement()、startElement() 等方法时直接写入目标（文件、字符串、stream），不缓存整棵树。

• 用 openURI() 指向文件路径，或 openMemory() + outputMemory() 分块获取内容
• 注意手动配对 startElement() / endElement()，避免标签嵌套错乱
• 写属性用 writeAttribute()，写 CDATA 用 writeCData()，写注释用 writeComment()
• 若需格式化缩进，启用 setIndent(true) 并设 setIndentString(" ") ，但会轻微增加开销，大文件中可酌情关闭

示例：生成含 10 万条记录的 文件

$writer = new XMLWriter();
$writer->openURI('users.xml');
$writer->startDocument('1.0', 'UTF-8');
$writer->startElement('users');

for ($i = 1; $i <= 100000; $i++) {
    $writer->startElement('user');
    $writer->writeAttribute('id', (string)$i);
    $writer->writeElement('name', "User $i");
    $writer->writeElement('email', "user$i@example.com");
    $writer->endElement(); // 
}

$writer->endElement(); // 
$writer->endDocument();
$writer->flush();

Reader + Writer 组合：边读边转（如格式转换、过滤）

这是最典型的大文件处理场景：读一个大 XML，按规则清洗/筛选/重组，实时写入新文件。全程内存可控，适合 ETL 类任务。

• 保持两个对象实例：一个 XMLReader 读源文件，一个 XMLWriter 写目标文件
• 用 XMLReader 的深度（depth）或命名栈判断当前是否在目标数据块内（例如 内才开始写）
• 对需保留的节点，用 $reader->readOuterXML() 获取原始片段直接写入（跳过解析），提升速度；对需修改的节点，读出值再由 XMLWriter 重写
• 注意编码一致性：确保 XMLReader 和 XMLWriter 都使用 UTF-8（源文件声明、open 参数、startDocument 第二参数均需匹配）

避坑要点与性能提示

• 始终检查 open() 返回值，失败时 libxml_get_errors() 可查具体错误（如编码不匹配、BOM 头干扰）
• 避免在循环中频繁调用 expand() 转 DOM —— 它会把当前节点子树载入内存，大节点可能崩
• 用 XMLReader::setParserProperty(XMLReader::SUBST_ENTITIES, false) 关闭实体替换，防止恶意 &xx; 耗尽内存
• 写文件时，用 ob_flush() + flush() 强制输出缓冲（尤其配合 web SAPI 时），但 CLI 下通常无需
• 测试时先用小样本验证逻辑，再用真实大文件跑，观察内存峰值（memory_get_peak_usage()）是否稳定在几 MB 内