在进行网页抓取时，我们经常需要从html元素中提取其内部的文本内容。然而，在使用scrapy的css选择器时，如果直接选中一个html标签（例如
标签），并使用extract()方法，通常会得到包含该标签及其所有内容的完整html片段，而非我们期望的纯文本。这在许多场景下会造成不便，因为我们需要对提取出的html字符串进行额外的解析或正则匹配才能获取到纯文本。
识别问题：获取完整HTML而非纯文本
考虑以下HTML结构：
Bob Guiney
Another paragraph of text.
立即学习“前端免费学习笔记（深入）”；
如果我们尝试使用以下Scrapy代码来提取第一个
标签的文本：
import scrapy
class MySpider(scrapy.Spider):
name = 'text_extractor'
start_urls = ['http://example.com'] # 替换为实际的URL或使用Selector对象模拟
def parse(self, response):
# 假设response是包含上述HTML的Scrapy响应对象
# 为了演示，我们直接从一个Selector对象开始
# response = scrapy.Selector(text='''
#
#
# Bob Guiney
# Another paragraph of text.
立即学习“前端免费学习笔记（深入）”；
#
#
# ''')
section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')
p_elements = section_div.css("section#talent-summary > p")
# 尝试提取第一个p标签的内容
if p_elements:
full_html = p_elements[0].extract()
print(f"提取到的完整HTML: {full_html}")
# 输出: Bob Guiney
else:
print("未找到p元素。")上述代码中的full_html变量将包含完整的
...
标签，而不是我们期望的纯文本 "Bob Guiney"。解决方案：使用::text伪元素
Scrapy的CSS选择器提供了一个强大的伪元素::text，专门用于提取选中元素的直接文本节点。通过将::text附加到CSS选择器之后，我们可以指示Scrapy只返回元素的文本内容，忽略其HTML标签。
修改上述代码，应用::text伪元素：
import scrapy
class MySpider(scrapy.Spider):
name = 'text_extractor_corrected'
start_urls = ['http://example.com'] # 替换为实际的URL或使用Selector对象模拟
def parse(self, response):
# 假设response是包含上述HTML的Scrapy响应对象
# response = scrapy.Selector(text='''
#
#
# Bob Guiney
# Another paragraph of text.
立即学习“前端免费学习笔记（深入）”；
#
#
# ''')
section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')
# 使用::text伪元素直接选择文本节点
p_texts = section_div.css("section#talent-summary > p::text")
# 提取第一个p标签的纯文本
if p_texts:
# 使用.get()方法获取第一个匹配项的字符串值
name = p_texts[0].get()
print(f"提取到的纯文本: {name}")
# 输出: Bob Guiney
else:
print("未找到p元素或其文本内容。")通过在选择器section#talent-summary > p后添加::text，我们现在能够精确地提取到“Bob Guiney”这一纯文本字符串。
处理多个匹配项
如果选择器匹配到多个文本节点，css('...::text')会返回一个SelectorList对象。你可以通过索引访问特定项，并使用.get()方法获取其字符串值。
例如，要获取所有
标签的文本内容，可以使用.getall()方法：
all_p_texts = section_div.css("section#talent-summary > p::text").getall()
print(f"所有p标签的文本内容: {all_p_texts}")
# 输出: ['Bob Guiney', 'Another paragraph of text.']或者，如果你需要遍历每一个文本节点：
for index, text_selector in enumerate(p_texts):
print(f"第{index+1}个p标签的文本: {text_selector.get()}")get()与extract()的对比
在Scrapy的Selector API中：
- extract() 是旧版本的方法，用于从Selector对象中提取数据。
- get() 是Scrapy 1.8+版本推荐的新方法，功能与extract_first()类似，用于获取单个结果。
- getall() 是Scrapy 1.8+版本推荐的新方法，功能与extract()（在SelectorList上调用时）类似，用于获取所有结果。
在现代Scrapy项目中，推荐使用get()和getall()，它们提供了更清晰的语义。
注意事项
-
::text只提取直接子文本节点：::text伪元素只会提取元素的直接文本子节点，不会递归地提取嵌套在子标签内的文本。例如，对于
Hello World!
，p::text只会返回Hello，而不会包含World。如果需要提取所有子孙节点的文本并连接起来，通常需要使用XPath的string()函数或normalize-space(.)。 -
空白字符处理：提取出的文本可能包含前导或尾随的空白字符（如换行符、空格）。你可能需要使用Python的strip()方法来清理这些空白。
name = p_texts[0].get().strip()
- 空结果处理：在使用get()时，如果选择器没有匹配到任何结果，它会返回None。在使用getall()时，如果选择器没有匹配到任何结果，它会返回一个空列表[]。在实际应用中，务必进行空值检查，以避免程序报错。
总结
通过在Scrapy的CSS选择器中使用::text伪元素，我们可以高效且精确地从HTML标签中提取纯文本内容，避免了获取包含标签的完整HTML片段。结合get()和getall()方法，Scrapy为网页数据提取提供了强大而灵活的工具，使得数据清洗和处理过程更加简化。掌握这一技巧是编写高效和健壮Scrapy爬虫的关键一步。
