使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

    

        

            

                
Swan
                
Flower
            
            

                

                    
Playground
                
            
            

                

                    Animal:
                    
aaa
            
            

                

                    Fish:
                    
bbb
            
            

                

                    

                        
                        
                        
                    
                
            
        
    

初次尝试可能通过 find_all('td', {'colspan': '2', 'strong': True}) 来定位目标

解决方案：结合 CSS 选择器与 stripped_strings

Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。

立即学习“前端免费学习笔记（深入）”；

贝特协同办公系统(BetterCOS)

具备更多的新特性： A.具有集成度更高的平台特点，集中体现了信息、文档在办公活动中交流的开放性与即时性的重要。 B.提供给管理员的管理工具，使系统更易于管理和维护。 C.产品本身精干的体系结构再加之结合了插件的设计思想，使得产品为用户度身定制新模块变得非常快捷。 D.支持对后续版本的平滑升级。 E.最价的流程管理功能。 F.最佳的网络安全性及个性化

下载

核心思路

1. 使用 :has() 伪类选择器定位父元素： 找到所有包含 标签的 元素。这比直接查找 的父级更具描述性，并且可以确保我们只处理包含特定子元素的 。
2. 利用 stripped_strings 提取纯净文本： 对于定位到的每个 元素，stripped_strings 属性会迭代其所有子孙文本内容，并自动去除多余的空白字符。由于我们的目标文本 "aaa" 或 "bbb" 总是 中最后一个有意义的文本片段（在 和
   之后），我们可以简单地获取 stripped_strings 列表中的最后一个元素。

   示例代码

   以下是实现这一目标的 Python 代码：

   from bs4 import BeautifulSoup
   
   # 模拟 HTML 内容
   html_text = """\
   
   
   
       
   
           
   
               
   
                   
   Swan
                   
   Flower
               
               
   
                   
   
                       
   Playground
                   
               
               
   
                   
   
                       Animal:
                       
   aaa
               
               
   
                   
   
                       Fish:
                       
   bbb
               
               
   
                   
   
                       
   
                           
                           
                           
                       
                   
               
           
       
   """
   
   # 使用 Beautiful Soup 解析 HTML
   soup = BeautifulSoup(html_text, "html.parser")
   
   # 使用 CSS 选择器定位所有包含  标签的  元素
   # ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素
   target_tds = soup.select("td:has(strong)")
   
   # 遍历每个目标  元素并提取所需文本
   extracted_texts = []
   for td in target_tds:
       # `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白
       # 将其转换为列表，并获取最后一个元素，即 `
   ` 后的文本
       text = list(td.stripped_strings)[-1]
       extracted_texts.append(text)
       print(text)
   
   print(f"\n所有提取的文本: {extracted_texts}")

   输出结果：

   aaa
   bbb
   
   所有提取的文本: ['aaa', 'bbb']

   代码解析

   1. from bs4 import BeautifulSoup: 导入 Beautiful Soup 库。
   2. soup = BeautifulSoup(html_text, "html.parser"): 初始化 Beautiful Soup 对象，使用 html.parser 解析器解析 HTML 文本。
   3. soup.select("td:has(strong)"): 这是关键一步。
      • td: 选择所有 标签。
      • :has(strong): 这是一个 CSS 伪类选择器，它会进一步过滤 标签，只保留那些内部包含 标签的 。这使得我们能够精确地找到目标父元素。
      • for td in target_tds:: 遍历所有匹配到的 元素。
      • text = list(td.stripped_strings)[-1]:
        • td.stripped_strings: 这个属性返回一个生成器，它会遍历当前 td 标签及其所有子孙标签中的文本内容，并自动去除文本两端的空白字符（如换行符、空格）。
        • list(...): 将生成器转换为列表，这样我们可以通过索引访问其元素。
        • [-1]: 获取列表中的最后一个元素。在我们的 HTML 结构中，Animal: 是第一个文本片段，而 aaa 是在
          之后，作为 内的最后一个有意义的文本片段。因此，获取最后一个 stripped_strings 元素就能准确得到我们想要的内容。

          注意事项与总结

          • CSS 选择器的强大性： Beautiful Soup 的 select() 方法支持大部分 CSS3 选择器，包括类选择器、ID 选择器、属性选择器、伪类选择器（如 :nth-of-type, :first-child, :has() 等）。熟练掌握 CSS 选择器能够极大地提高 HTML 元素定位的效率和准确性。
          • stripped_strings 的应用场景： 当你需要从一个标签内部提取所有纯净的文本内容，并且这些文本可能被其他标签或空白字符分隔时，stripped_strings 是一个非常实用的工具。它能自动处理文本的拼接和空白去除。
          • HTML 结构分析： 在进行任何数据提取之前，仔细分析目标 HTML 的结构至关重要。通过浏览器开发者工具检查元素的层级关系、属性和文本位置，可以帮助你设计出最有效的选择器和提取逻辑。
          • 健壮性考虑： 这种方法相对 next_sibling 更为健壮，因为它不依赖于
            标签和目标文本之间是否存在空白文本节点。只要目标文本是其父元素内最后一个有意义的文本片段，list(td.stripped_strings)[-1] 就能成功提取。

          通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。