使用Scrapy高效抓取并整合Div内不定数量P标签文本

<div class="div_name">
    <h2 class="h5">title text</h2>
    <p> </p>
    <p>这是第一段文本...</p>
    <p>这是第二段文本...</p>
    <p> </p>
    <p><br>这是第三段文本...</p>
    <p> </p>
    <p><br>这是第四段文本...</p>
    <p> </p>
    <p><br>这是第五段文本...</p>
    <p> </p>
    <p><br>这是第六段文本...</p>
    <p> </p>
    <p>这是第七段文本...</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/ai/1608">
                            <img src="https://img.php.cn/upload/ai_manual/000/969/633/68b6dabc23ed9458.png" alt="Procys">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/ai/1608">Procys</a>
                            <p>AI驱动的发票数据处理</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="Procys">
                                <span>102</span>
                            </div>
                        </div>
                        <a href="/ai/1608" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="Procys">
                        </a>
                    </div>
                
    <p> </p>
    <p><br>这是第八段文本...</p>
    <p> </p>
    <p><br>这是第九段文本...</p>
    <p> </p>
    <p><br>这是第十段文本...</p>
    <p>这是第十一段文本...</p>
    <p>这是第十二段文本...</p>
</div>

# 假设 divs 是指向目标 <div class="div_name"> 的选择器
divs = response.xpath('/html/body/div[6]/div/section[2]/article/div/div/div')
story = "" # 初始化变量
for p_tag_selector in divs.xpath('.//p'):
    # p_tag_selector.get() 会返回 <p>...</p> 完整的HTML标签
    # 如果想获取纯文本，需要进一步处理，例如 p_tag_selector.xpath('normalize-space(.)').get()
    text_content = p_tag_selector.xpath('normalize-space(.)').get()
    if text_content:
        story = text_content # 错误：每次循环都会覆盖前一次的值

yield {
    'story': story # 最终只会存储最后一个 <p> 标签的内容
}

import scrapy

class ParagraphScraper(scrapy.Spider):
    name = 'paragraph_scraper'
    start_urls = ['http://example.com/your_target_page'] # 替换为实际的网页URL

    def parse(self, response):
        # 1. 使用XPath选择所有目标 <p> 标签
        # 注意：原始问题中的XPath '/html/body/div[6]/div/section[2]/article/div/div/div'
        # 非常具体且脆弱，强烈建议根据实际页面结构优化，例如使用类名：
        # target_div_xpath = '//div[@class="div_name"]'
        # p_selectors = response.xpath(f'{target_div_xpath}//p')

        # 这里沿用问题中提供的XPath作为示例，但请在实际项目中进行验证和优化
        p_selectors = response.xpath('/html/body/div[6]/div/section[2]/article/div/div/div//p')

        # 2. 提取每个 <p> 标签的纯文本内容，并进行规范化处理
        # 使用列表推导式高效地完成这一步骤
        # normalize-space(.) 可以获取元素内部的所有文本内容，并规范化空格
        # 过滤掉可能为空的文本（如 <p> </p> 或只包含 <br> 的 p 标签）
        story_parts = [
            p_selector.xpath('normalize-space(.)').get()
            for p_selector in p_selectors
        ]
        story_parts = [part for part in story_parts if part and part.strip()] # 确保非空且非全空白

        # 3. 使用空格将所有文本部分连接成一个单一的字符串
        # ' '.join(list_of_strings) 是 Python 中连接字符串的常用且高效的方法
        story_combined = ' '.join(story_parts)

        # 4. 将整合后的数据通过 yield 返回
        yield {
            'story': story_combined,
            # 可以根据需要添加其他字段
        }