理解问题：精准文本抓取的挑战

在网页抓取任务中，我们经常会遇到需要从一个HTML元素中提取其直接文本内容，但又必须忽略其内部子元素所包含的文本的情况。例如，考虑以下HTML结构：

  

    
Text I don't want
    
....
 
  
  Text I want to grab.  
  

  More text I want to grab 

我们的目标是仅提取 ["Text I want to grab.", "More text I want to grab"]，而 Text I don't want 应该被完全忽略。

初学者常犯的错误是使用类似 response.css('.classA *::text').getall() 这样的选择器。*::text 会匹配所有后代元素的文本节点，导致 Text I don't want 也被抓取。如果尝试使用 :not(.classD) 排除包含 h1 的 div，例如 response.css('.classA:not(.classD) *::text').getall()，这仍然可能无法达到预期，因为 *::text 会捕获所有子孙文本，而 :not(.classD) 作用于 .classA 本身。

核心解决方案：CSS选择器与:not()的组合

Scrapy（底层使用cssselect库）的CSS选择器提供了一种强大且灵活的方式来解决此类问题。关键在于理解::text伪元素与:not()伪类的组合行为。

立即学习“前端免费学习笔记（深入）”；

1. ::text 伪元素：在Scrapy中，当::text直接跟随一个元素选择器时（例如 div::text），它通常会选择该元素下直接的文本节点，而不会深入到其子元素的文本内容。然而，当它与:not()伪类结合使用时，其行为会变得更加强大。

2. :not() 伪类与 ::text 的协同：cssselect库支持一种特殊行为，即当:not(F)与E::text组合时，它不仅作用于元素E本身，还能作为一种过滤器，排除那些位于带有F类名的子孙元素内部的文本节点。这意味着，即使Text I don't want是嵌套在 h1 元素中，只要这个 h1 带有我们想要排除的类名（例如 classF），我们就可以利用 :not(.classF) 来阻止其文本被抓取。

基于上述理解，我们可以构建如下的CSS选择器：

SEO GPT

免费的白帽SEO，PPC和网站经销商平台

下载

response.css('div.classA.classB.classC:not(.classF)::text').getall()

让我们详细解析这个选择器：

• div.classA.classB.classC: 精确定位到我们想要从中提取文本的目标父元素。
• :not(.classF): 这是关键所在。它告诉选择器，在从 div.classA.classB.classC 及其后代中提取文本时，要排除那些位于带有 classF 类名的元素内部的文本节点。由于 Text I don't want 位于

  内部，因此它会被这个 :not(.classF) 规则有效地过滤掉。

• ::text: 最终选择所有符合上述条件的文本节点。

通过这种方式，我们能够精准地获取到父元素下我们想要的文本，同时剔除不相关的子元素文本。

提取结果的后处理

getall() 方法会返回一个包含所有匹配文本节点的列表，其中可能包含大量的空白字符、换行符等。为了得到干净、易于处理的文本，通常需要进行后处理。

以下是一些常用的后处理方法及其示例：

1. 连接所有文本并清理

这种方法会将所有文本块连接成一个字符串，然后去除多余的空白和换行。

import scrapy
from scrapy.selector import Selector

html_content = '''

  

    
Text I don't want
    
....
 
  
  Text I want to grab.
  

  More text I want to grab

'''

resp = Selector(text=html_content)

# 原始抓取结果
raw_texts = resp.css('div.classA.classB.classC:not(.classF)::text').getall()
print