使用 Scrapy 提取 HTML 中未被 包裹的数据

在进行网络数据抓取时，经常会遇到需要提取的数据没有被清晰的 HTML 标签包裹的情况。Scrapy 提供了强大的 CSS 选择器和 XPath 选择器，可以灵活地定位到目标元素。本文将以提取房屋列表中的卧室数量为例，详细讲解如何使用 Scrapy 提取这类数据。

问题分析

假设我们有以下 HTML 片段，需要提取其中的卧室数量 "1"：

<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
    <div class="search-results-listings-list__item-description__characteristics__item">
        <!--?xml version="1.0"?-->
        <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
        <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
        1
    </div>
</div>

直接使用 div.search-results-listings-list__item-description__characteristics__item::text 可能无法准确定位到数字 "1"，因为它还会提取到 "Chambres" 等其他文本。

立即学习“前端免费学习笔记（深入）”；

雾象

WaytoAGI推出的AI动画生成引擎

下载

解决方案

1. 使用 :contains() 选择器: 首先，我们可以使用 :contains() 选择器定位到包含 "Chambres" 文本的 div 元素。
2. 使用 ::text 提取文本: 然后，使用 ::text 提取该元素下的所有文本内容。
3. 使用 getall() 获取所有结果: 关键在于使用 getall() 方法，而不是 get()。get() 只返回第一个匹配的结果，而 getall() 返回所有匹配结果的列表。
4. 提取最后一个元素: 由于数字 "1" 是列表中的最后一个元素，我们可以通过索引 [-1] 获取它。
5. 使用正则表达式提取数字: 最后，使用正则表达式从提取的文本中提取数字。

以下是完整的 Scrapy 代码示例：

import scrapy
import re

class MySpider(scrapy.Spider):
    name = "my_spider"
    start_urls = ["http://example.com"] # 替换成你要抓取的网址

    def parse(self, response):
        # 假设 house_listing 是包含上述 HTML 片段的 response 对象
        # 实际情况中，你需要根据你的爬虫逻辑来获取 house_listing

        # 模拟 house_listing 对象
        html = """
        <div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
            <div class="search-results-listings-list__item-description__characteristics__item">
                <!--?xml version="1.0"?-->
                <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
                <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
                1
            </div>
        </div>
        """
        house_listing = scrapy.Selector(text=html)

        bedrooms_info = house_listing.css('.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').getall()
        if bedrooms_info:
            bedrooms_text = bedrooms_info[-1]
            match = re.search(r'\d+', bedrooms_text)
            if match:
                bedrooms = int(match.group())
                print(f"Number of bedrooms: {bedrooms}")
                yield {
                    'bedrooms': bedrooms
                }
            else:
                print("No bedroom number found.")
        else:
            print("No bedroom information found.")

代码解释：

• house_listing.css('.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').getall(): 这行代码使用 CSS 选择器定位到包含 "Chambres" 文本的 div 元素，并提取其下的所有文本内容，返回一个列表。
• bedrooms_info[-1]: 这行代码获取列表中的最后一个元素，即卧室数量的文本。
• re.search(r'\d+', bedrooms_text): 这行代码使用正则表达式提取文本中的数字。
• int(match.group()): 这行代码将提取的数字转换为整数。

注意事项

• 网站结构变化: 网站的 HTML 结构可能会发生变化，因此需要定期检查和更新 CSS 选择器。
• 异常处理: 在实际应用中，需要添加适当的异常处理机制，例如处理 bedrooms_info 为空的情况，以及正则表达式匹配失败的情况。
• 数据清洗: 提取的文本可能包含空格或其他非数字字符，需要进行数据清洗。可以使用 strip() 方法去除空格。

总结

本文介绍了一种使用 Scrapy 提取 HTML 中未被 <div> 包裹的数据的方法。通过使用 CSS 选择器、getall() 方法和正则表达式，可以灵活地定位和提取目标数据。在实际应用中，需要根据网站的具体情况进行调整，并注意异常处理和数据清洗。 掌握这些技巧，可以更有效地进行网络数据抓取。