XML解析报错时应先轻量清洗:移除控制字符、统一编码、用lxml.recover容错解析;HTML实体、CDATA、空白需语义化处理;命名空间须显式声明;重复/空/类型混杂节点需归一化;结构变异需配置化映射。

XML结构不规范时,xml.etree.ElementTree 解析直接报错怎么办
遇到 ParseError: not well-formed (invalid token) 或 xml.parsers.expat.ExpatError,基本是 XML 含非法字符、未闭合标签、编码声明错位或 BOM 头干扰。别急着重写解析逻辑,先做轻量清洗:
- 用
bytes级替换移除常见控制字符:re.sub(b'[\x00-\x08\x0b\x0c\x0e-\x1f]', b'', raw_xml_bytes) - 检查并统一编码声明(如把
改为UTF-8),再用str.encode('utf-8')强制转码 - 用
chardet.detect()判定真实编码,避免盲目按声明解码 - 对明显缺闭合标签的片段(如
),慎用正则补全——优先用abc lxml.etree.fromstring(..., recover=True)容错解析
字段值含 HTML 实体、CDATA 或换行缩进,映射后数据错乱怎么清理
XML 中的 、、多余空格和换行,在提取文本后常导致 JSON/CSV 映射失败或字段截断。关键不是“全删”,而是按语义区分处理:
- 调用
element.text.strip()前,先用lxml.html.fromstring()解析 HTML 实体(lxml自动转义,ElementTree不会) - 对
CDATA区域,lxml默认保留原内容;若需解码,用html.unescape(cdata_text) - 多行文本中保留有意义的换行(如地址、描述),但过滤掉仅由缩进组成的空行:
re.sub(r'\n\s*\n', '\n', text) - 警惕
(零宽空格)等隐形字符,用text.replace('\u200b', '').replace('\uFEFF', '')清理
命名空间(namespace)导致 find() 和 xpath() 全部失效
XML 带命名空间(如 xmlns="http://example.com/ns")时,tree.find('item') 必然返回 None——这不是语法错,是命名空间没声明。必须显式绑定前缀:
from lxml import etree
ns = {'ns': 'http://example.com/ns'}
root = etree.fromstring(xml_bytes)
items = root.xpath('//ns:item', namespaces=ns) # 注意前缀 ns:
# 或用 find:root.find('ns:item', namespaces=ns)
若多个命名空间混用(如 xmlns:xsi, xmlns:xs),必须全部注册到 namespaces 字典;漏一个,对应路径就查不到。用 root.nsmap 可快速查看文档实际声明了哪些前缀。
重复节点、空节点、类型混杂字段影响后续映射稳定性
比如 和 并存,或同一字段有时是字符串、有时是数字,硬映射会崩。清洗阶段就要归一化:
- 用
list(root.iterfind('.//price'))批量检测空节点,if elem.text is None or elem.text.strip() == ''则设默认值或跳过 - 对数值型字段,统一用
float(elem.text.strip()) if elem.text else 0.0转换,避免后续 SQL 插入或 Pandas 类型推断出错 - 对可能重复的节点(如多个
),明确策略:取第一个(find())、拼接为列表(list(findall()))、或合并为逗号分隔字符串(', '.join(t.text for t in tags if t.text)) - 用
etree.tostring(elem, encoding='unicode', method='xml')检查清洗后是否仍合法 XML,防止修复引入新格式错误
真正难的不是单点清洗,而是不同来源 XML 的结构变异——同一业务字段在 A 系统里是 ,在 B 系统里是 ,且嵌套层级不同。这类问题没法靠通用清洗解决,得在映射配置里提前定义字段别名和路径规则。










