在scrapy爬虫开发中，我们经常需要从html元素中提取其内部的纯文本内容，而不是包含标签在内的整个html片段。例如，对于 <p color="inherit" class="text-sc-1d6qffq-0 ebczuw">bob guiney</p> 这样的html结构，我们可能只希望获取 "bob guiney"。直接使用 response.css('p').extract() 或 response.css('p').get() 通常会返回完整的html字符串，这并非我们所期望的。
核心解决方案：使用 ::text 伪元素
Scrapy的CSS选择器提供了一个强大的伪元素 ::text，专门用于提取元素的直接文本节点。通过将其附加到任何CSS选择器之后，您可以指示Scrapy只返回该元素内部的纯文本内容，而忽略所有子标签。
示例代码：
假设我们有以下HTML片段，并且已经通过 section_div 定位到了其父级元素：
<div data-testid="talent-profile-page-talent-info">
<section id="talent-summary">
<p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>
<p>Another paragraph text.</p>
<span>This is a span.</span>
</section>
</div>要从第一个 p 标签中提取 "Bob Guiney"，我们可以这样修改代码：
立即学习“前端免费学习笔记（深入）”；
import scrapy
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://example.com'] # 替换为实际URL
def parse(self, response):
# 假设 response 包含了上述HTML结构
section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')
# 使用 ::text 伪元素提取 p 标签内的直接文本
p_names_selectors = section_div.css("section#talent-summary > p::text")
# 获取第一个 p 标签的文本内容
if p_names_selectors:
name = p_names_selectors[0].get()
print(f"提取到的姓名: {name.strip()}") # .strip() 用于去除可能的空白字符
else:
print("未找到 p 标签文本。")
# 获取所有 p 标签的文本内容
all_p_texts = [text.strip() for text in p_names_selectors.getall()]
print(f"所有 p 标签文本: {all_p_texts}")
# 如果 p 标签内部有其他标签，::text 将只提取 p 标签的直接文本子节点
# 例如：<p>Hello <span>World</span>!</p>
# p::text 会返回 "Hello " 和 "!"，而不会返回 "World"
# 如果需要获取所有文本（包括子标签内的文本），可能需要结合 XPath 的 string(.) 方法
# 或更复杂的 CSS/XPath 组合。但对于简单的纯文本需求，::text 是最直接高效的选择。代码解释：
-
section_div.css("section#talent-summary > p::text"):
- section#talent-summary > p: 这部分选择器首先定位到 id 为 talent-summary 的 section 元素，然后选择其直接子元素 p。
- ::text: 这是关键部分。它告诉Scrapy，对于前面选择到的每一个 p 元素，我们只关心其内部的直接文本内容，而不是整个 p 标签的HTML结构。
-
p_names_selectors[0].get():
- 当使用 ::text 时，css() 方法返回的仍然是一个 SelectorList 对象，其中每个 Selector 对象现在代表一个文本节点。
- [0] 用于访问 SelectorList 中的第一个文本节点选择器。
- .get() (或 .extract()) 方法用于从该文本节点选择器中提取实际的字符串值。建议使用 .get()，它是 .extract_first() 的更简洁替代。
-
p_names_selectors.getall():
- 如果页面中有多个符合选择器条件的 p 标签，并且您希望获取所有这些标签的文本内容，可以使用 getall() (或 extract()) 方法。它将返回一个包含所有匹配文本字符串的列表。
注意事项与总结
-
::text 的作用范围： ::text 伪元素只会提取元素的直接文本子节点。这意味着，如果一个 p 标签内部还包含其他HTML标签（例如 <span>、<a>），::text 将不会提取这些子标签内部的文本。它只会获取 p 标签与其直接子标签之间或 p 标签开头和结尾处的文本。
- 例如：对于 <p>Hello <span>World</span>!</p>，p::text 会返回 ['Hello ', '!']。
- 处理空白字符： 提取到的文本内容可能包含前导或尾随的空白字符（如换行符、空格）。通常，您会希望使用Python的 str.strip() 方法来清理这些空白。
- 选择器的灵活性： ::text 可以与任何有效的CSS选择器结合使用，从而实现非常精确的文本提取。
通过掌握 ::text 伪元素，您可以更高效、更精确地从网页中抓取所需的纯文本信息，避免了对完整HTML字符串进行额外的解析或正则匹配，从而简化了Scrapy爬虫的开发过程。
