理解 ::text 伪元素
在进行网页抓取时，一个常见需求是仅提取 html 标签内部的纯文本内容，而不是包含标签本身的完整 html 片段。例如，对于 <p>bob guiney</p>，我们通常只想要“bob guiney”。直接使用 .extract() 或 .get() 在一个选择器对象上（例如 response.css('p')[0].get()）通常会返回完整的 html 字符串。
Scrapy 的 CSS 选择器提供了一个强大的伪元素 ::text，它专门用于选择元素的直接文本节点。这意味着它会忽略任何子标签，只返回当前元素内部的文本。
提取单个标签的内部文本
假设我们有以下 HTML 结构，并希望从第一个 <p> 标签中提取姓名：
<div data-testid="talent-profile-page-talent-info">
<section id="talent-summary">
<p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>
<p>Another Name</p>
</section>
</div>如果我们直接尝试 p_names[0].extract()，会得到 <p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>。为了只获取“Bob Guiney”，我们需要结合 ::text 伪元素和 .get() 方法。
以下是正确的代码示例：
立即学习“前端免费学习笔记（深入）”；
import scrapy
# 模拟一个 Scrapy Response 对象，用于演示
html_content = """
<div data-testid="talent-profile-page-talent-info">
<section id="talent-summary">
<p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>
<p>Another Name</p>
<p>Last Name</p>
</section>
</div>
"""
response = scrapy.Selector(text=html_content)
# 首先定位到包含目标p标签的父元素
section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')
# 使用 ::text 伪元素选择p标签内的文本节点
# 注意：这将返回一个 SelectorList，其中每个元素代表一个文本节点
p_text_selectors = section_div.css("section#talent-summary > p::text")
# 从第一个匹配的文本节点中提取内容
# .get() 方法用于获取 SelectorList 中第一个匹配项的字符串表示
name = p_text_selectors.get()
print(f"提取到的姓名: {name}")
# 预期输出: 提取到的姓名: Bob Guiney在这个例子中，section_div.css("section#talent-summary > p::text") 返回一个包含所有匹配到的文本节点的 SelectorList。然后，p_text_selectors.get() 会从这个列表中取出第一个文本节点的内容。
提取多个标签的内部文本
如果存在多个 <p> 标签，并且我们想获取它们的文本内容，可以采取以下几种方式：
-
获取所有匹配项的文本列表：
使用 .getall() 方法可以一次性获取所有匹配到的文本节点的字符串列表。
all_p_texts = section_div.css("section#talent-summary > p::text").getall() print(f"所有p标签文本: {all_p_texts}") # 预期输出: 所有p标签文本: ['Bob Guiney', 'Another Name', 'Last Name'] -
通过索引获取特定匹配项的文本：
如果需要获取第 N 个 <p> 标签的文本（索引从 0 开始），可以通过索引访问 SelectorList 中的元素，然后对该元素调用 .get()。
# 获取第二个p标签的文本内容 (索引为 1) second_p_text = section_div.css("section#talent-summary > p::text")[1].get() print(f"第二个p标签文本: {second_p_text}") # 预期输出: 第二个p标签文本: Another Name
注意事项
- ::text 与嵌套标签： ::text 只会提取元素的直接文本子节点。如果文本内容嵌套在其他子标签中，::text 将不会包含这些子标签内的文本。例如，对于 <p>Hello <span>World</span>!</p>，p::text 通常只会得到 ['Hello ', '!']。如果需要获取所有文本（包括嵌套子标签中的文本），可能需要结合 XPath 的 string() 函数或更复杂的 XPath 表达式（如 normalize-space(.//text()) 或 .//text() 后再拼接）。
- get() vs extract()： 在 Scrapy 中，get() 和 getall() 是推荐用于提取数据的方法，它们是 extract_first() 和 extract() 的更简洁和现代的替代品。功能上，get() 等同于 extract_first()，getall() 等同于 extract()。
- 处理空白字符： ::text 提取的文本可能包含前导/尾随空白字符或换行符。如果需要清理这些空白，可以使用 Python 的 strip() 方法或 Scrapy Item Loaders 中的 MapCompose(str.strip)。
总结
通过灵活运用 Scrapy CSS 选择器中的 ::text 伪元素，开发者可以精确地从 HTML 标签中提取纯文本内容，避免获取不必要的 HTML 结构。结合 .get() 和 .getall() 方法，可以高效地处理单个或多个文本内容的提取需求，从而大大简化网页数据抓取过程中的文本处理工作。理解并熟练掌握 ::text 的用法，是 Scrapy 爬虫开发中不可或缺的技能。
