Python lxml怎么清理和修复不规范的HTML/XML

lxml修复HTML/XML的核心方法是：先用etree.HTML()或HTMLParser(recover=True)自动修复语法错误，再用Cleaner过滤危险内容，必要时通过xpath手动调整结构。

lxml 的 etree.HTML() 和 etree.XML() 本身就会自动修复常见语法错误，但更可靠、更可控的方式是使用 lxml.html.clean 模块清理 HTML，配合 lxml.etree.Parser 的 recover 选项修复损坏结构。

用 HTMLParser 自动修复破损 HTML

面对缺失闭合标签、错位嵌套、未转义字符等常见问题，直接用带容错能力的解析器最省心：

• 启用 recover=True（默认开启）让 parser 尽力重建树结构
• 对严重破损的 HTML，显式创建 HTMLParser 并设 recover=True
• 避免用 XMLParser 解析 HTML——它更严格，容易报错退出

示例：

AI Room Planner

AI 室内设计工具，免费为您的房间提供上百种设计方案

136

查看详情

from lxml import etree, html
<h1>自动修复并解析（推荐用于网页抓取结果）</h1><p>broken_html = "<p>Hello <b>world</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p></b>"
tree = html.fromstring(broken_html)  # 内部已用 recover=True 的 HTMLParser</p><h1>或显式控制</h1><p>parser = html.HTMLParser(recover=True)
tree = etree.parse(StringIO(broken_html), parser)

用 Cleaner 移除危险或冗余内容

lxml.html.clean.Cleaner 不修复结构，而是安全过滤：删 script/style、剥离 JS 事件、清理注释、标准化空白等。

• 默认只删 script/style，其他行为需手动开启
• safe_attrs_only=True 只保留白名单属性（如 class、id），去掉 onclick 等
• page_structure=False 允许保留 body 外的内容（如 head 中的 title）
• 可组合使用：Cleaner(...).clean_html(html_string)

示例：

from lxml.html.clean import Cleaner
<p>cleaner = Cleaner(
scripts=True,
style=True,
javascript=True,
embedded=True,
frames=True,
meta=True,
page_structure=False,
safe_attrs_only=True,
remove_unknown_tags=False
)
clean_html = cleaner.clean_html("<script>alert()</script><p onclick='x()'>OK</p>")</p><h1>→ "<p>OK</p>"</h1><p>

手动修补常见结构问题

对于 parser 无法自动纠正的深层问题（如孤立的 、错乱的表格嵌套），可结合 xpath 定位 + python 逻辑修复：

• 用 tree.xpath("//text()[normalize-space()='']") 找空文本节点并移除
• 遍历所有 <table>，检查是否被意外包在 <code><p></p> 里（HTML 规范不允许），用 getparent().replace() 调整
• 用 etree.strip_tags(tree, 'font', 'center') 直接删弃用标签
• 对乱码或非法字符，先用 html.unescape() 预处理字符串再解析

XML 场景：用 XMLParser + recover 处理松散 XML

XML 比 HTML 更严格，但 lxml 的 XMLParser(recover=True) 仍能处理部分错误（如缺失结束标签、未闭合属性）：

• 仅适用于“类 XML”的不规范输入，不是万能的；严重错误仍会失败
• 搭配 resolve_entities=False 防止 DTD 实体攻击（尤其处理不可信输入时）
• 修复后建议用 etree.tostring(tree, encoding='unicode') 输出验证效果

示例：

from lxml import etree
<p>broken_xml = "<root><item>A<item>B</root>"
parser = etree.XMLParser(recover=True, resolve_entities=False)
tree = etree.parse(StringIO(broken_xml), parser)

登录后复制

基本上就这些。核心思路是：先用容错 parser 尽力恢复结构，再用 Cleaner 控制内容安全，必要时辅以 xpath + 手动调整。不复杂但容易忽略 recover 和 Cleaner 的组合使用。

以上就是Python lxml怎么清理和修复不规范的HTML/XML的详细内容，更多请关注php中文网其它相关文章！