理解 ::text 伪元素
在进行网页抓取时，一个常见需求是仅提取 html 标签内部的纯文本内容，而不是包含标签本身的完整 html 片段。例如，对于
bob guiney
，我们通常只想要“Bob Guiney”。直接使用 .extract() 或 .get() 在一个选择器对象上（例如 response.css('p')[0].get()）通常会返回完整的 HTML 字符串。Scrapy 的 CSS 选择器提供了一个强大的伪元素 ::text，它专门用于选择元素的直接文本节点。这意味着它会忽略任何子标签，只返回当前元素内部的文本。
提取单个标签的内部文本
假设我们有以下 HTML 结构，并希望从第一个
标签中提取姓名：
Bob Guiney
Another Name
如果我们直接尝试 p_names[0].extract()，会得到
Bob Guiney
立即学习“前端免费学习笔记（深入）”；
。为了只获取“Bob Guiney”，我们需要结合 ::text 伪元素和 .get() 方法。以下是正确的代码示例：
import scrapy # 模拟一个 Scrapy Response 对象，用于演示 html_content = """""" response = scrapy.Selector(text=html_content) # 首先定位到包含目标p标签的父元素 section_div = response.css('div[data-testid="talent-profile-page-talent-info"]') # 使用 ::text 伪元素选择p标签内的文本节点 # 注意：这将返回一个 SelectorList，其中每个元素代表一个文本节点 p_text_selectors = section_div.css("section#talent-summary > p::text") # 从第一个匹配的文本节点中提取内容 # .get() 方法用于获取 SelectorList 中第一个匹配项的字符串表示 name = p_text_selectors.get() print(f"提取到的姓名: {name}") # 预期输出: 提取到的姓名: Bob GuineyBob Guiney
Another Name
Last Name
在这个例子中，section_div.css("section#talent-summary > p::text") 返回一个包含所有匹配到的文本节点的 SelectorList。然后，p_text_selectors.get() 会从这个列表中取出第一个文本节点的内容。
提取多个标签的内部文本
如果存在多个
标签，并且我们想获取它们的文本内容，可以采取以下几种方式：
-
获取所有匹配项的文本列表：
使用 .getall() 方法可以一次性获取所有匹配到的文本节点的字符串列表。
all_p_texts = section_div.css("section#talent-summary > p::text").getall() print(f"所有p标签文本: {all_p_texts}") # 预期输出: 所有p标签文本: ['Bob Guiney', 'Another Name', 'Last Name'] -
通过索引获取特定匹配项的文本：
如果需要获取第 N 个
标签的文本（索引从 0 开始），可以通过索引访问 SelectorList 中的元素，然后对该元素调用 .get()。
# 获取第二个p标签的文本内容 (索引为 1) second_p_text = section_div.css("section#talent-summary > p::text")[1].get() print(f"第二个p标签文本: {second_p_text}") # 预期输出: 第二个p标签文本: Another Name
注意事项
-
::text 与嵌套标签： ::text 只会提取元素的直接文本子节点。如果文本内容嵌套在其他子标签中，::text 将不会包含这些子标签内的文本。例如，对于
Hello World!
，p::text 通常只会得到 ['Hello ', '!']。如果需要获取所有文本（包括嵌套子标签中的文本），可能需要结合 XPath 的 string() 函数或更复杂的 XPath 表达式（如 normalize-space(.//text()) 或 .//text() 后再拼接）。 - get() vs extract()： 在 Scrapy 中，get() 和 getall() 是推荐用于提取数据的方法，它们是 extract_first() 和 extract() 的更简洁和现代的替代品。功能上，get() 等同于 extract_first()，getall() 等同于 extract()。
- 处理空白字符： ::text 提取的文本可能包含前导/尾随空白字符或换行符。如果需要清理这些空白，可以使用 Python 的 strip() 方法或 Scrapy Item Loaders 中的 MapCompose(str.strip)。
总结
通过灵活运用 Scrapy CSS 选择器中的 ::text 伪元素，开发者可以精确地从 HTML 标签中提取纯文本内容，避免获取不必要的 HTML 结构。结合 .get() 和 .getall() 方法，可以高效地处理单个或多个文本内容的提取需求，从而大大简化网页数据抓取过程中的文本处理工作。理解并熟练掌握 ::text 的用法，是 Scrapy 爬虫开发中不可或缺的技能。
