Python爬虫：完整提取超链接中的网页文本
在使用Python爬虫抓取网页信息时，经常遇到文本嵌套在标签中的情况。直接使用text()方法会忽略标签内的内容，导致信息丢失。本文提供一种解决方案，确保完整提取所有文本信息。
问题：
爬取新闻网站时，部分文本位于标签内，导致XPath表达式//div[@class="f14 l24 news_content mt25zoom"]/p/text()无法完整提取文本。“绿色发展”等词语因嵌套在标签中而被遗漏。
立即学习“Python免费学习笔记（深入）”；
原始代码使用//div[@class="f14 l24 news_content mt25zoom"]/p/text()仅提取文本节点，忽略标签及其内容。
解决方案：
* 包含企业网所需要要的所有常用功能 * 单页企业信息页面(如公司简介、联系方式等类似页面)可以自由增加删除，自己设置文件名 * 完整的产品功能模块 * 人才招聘模块，可以直接在线提交简历 * 新闻文章模块，可自由设置二级文章分类，并对每个分类使用不同模板，如定制某个文章分类为图片分类，视频分类等 * 扩展功能包含公告、留言、友情链接等 把本系统解压到网站根目录即可使用 后台管理目录：
修改XPath表达式并进行节点类型判断，分别处理文本节点和标签节点。
首先，将XPath表达式修改为//div[@class="f14 l24 news_content mt25 zoom"]/p//node()。//node()提取所有子节点，包括文本节点和标签。
然后，遍历所有节点，判断节点类型。如果是文本节点，直接提取文本；如果是标签节点，提取标签的文本内容。
改进后的代码如下：
import requests
from lxml import etree
base_url = "https://www.solidwaste.com.cn/news/342864.html"
resp = requests.get(url=base_url)
html = etree.HTML(resp.text)
# 稳健的编码处理
encod = html.xpath('//meta[1]/@content')
if encod:
encod = encod[0].split("=")[-1]
resp.encoding = encod
html = etree.HTML(resp.text)
content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')
content_deal = ""
for node in content:
if isinstance(node, etree._ElementUnicodeResult):
content_deal += node.strip() + "\n"
elif isinstance(node, etree._Element) and node.tag == 'a':
content_deal += node.text.strip() + "\n"
print(content_deal)
通过以上改进，代码能够完整提取标签内的文本内容，避免信息丢失。 代码中对编码处理进行了优化，避免了因=号重复出现导致的错误。
