如何使用 BeautifulSoup 遍历并提取有序列表中的结构化数据

本文详解如何用 BeautifulSoup 定位 HTML 中的 列表，逐项解析每个 子元素，并安全提取标题、链接、描述和时间戳等字段，生成结构化字典列表。

本文详解如何用 beautifulsoup 定位 html 中的 `

` 列表，逐项解析每个 `
1. ` 子元素，并安全提取标题、链接、描述和时间戳等字段，生成结构化字典列表。

   在网页爬虫开发中，搜索结果页常以有序列表（

   ）组织多个条目，每个
   1. 包含标题（

      ）、链接（）、摘要（

      ）及时间戳（如带 data-timestamp 属性的 ）。仅定位到

      远不足够——关键在于精准遍历
      1. 并稳健提取嵌套字段
      。

      以下为完整、健壮的实现方案：

      

      炫图AI

      全能AI修图神器，AI换装、修图、改图、P图

      下载

      from bs4 import BeautifulSoup
      
      # 假设 session 已初始化，url 为目标搜索结果页
      result = session.get(url)
      soup = BeautifulSoup(result.text, 'html.parser')
      
      # ✅ 正确做法：先定位唯一 ol（用 find 而非 find_all），再遍历其所有 li
      search_results = soup.find('ol', class_='searchResults')
      if not search_results:
          raise ValueError("未找到 class='searchResults' 的有序列表")
      
      parsed_items = []
      for li in search_results.find_all('li'):
          # 使用条件表达式 + .get() / .text 防止 AttributeError
          title_elem = li.find('h4')
          link_elem = li.find('a')
          desc_elem = li.find('p')
          time_elem = li.find('span', class_='lastSeen')  # 推荐用 class_=... 更简洁
      
          item = {
              'title': title_elem.get_text(strip=True) if title_elem else '',
              'link': link_elem.get('href') if link_elem else '',
              'description': desc_elem.get_text(strip=True) if desc_elem else '',
              'timestamp': time_elem.get('data-timestamp') if time_elem else ''
          }
          parsed_items.append(item)
      
      # 输出示例（前两条）
      for i, item in enumerate(parsed_items[:2], 1):
          print(f"第{i}条:", item)

      ? 关键要点说明：

      • find() vs find_all()：
        在页面中通常唯一，应使用 soup.find(...) 获取单个对象；而
        1. 有多个，才用 find_all('li')。
        2. 防御性解析：每个 .find() 后都检查是否为 None，避免 AttributeError；.get_text(strip=True) 比 .text 更安全（自动处理空白与 None）。
        3. 属性选择优化：find('span', class_='lastSeen') 比 find('span', {'class': 'lastSeen'}) 更符合 BeautifulSoup 最佳实践。
        4. 结构化存储：parsed_items 是标准 Python 字典列表，可直接转为 pandas.DataFrame、JSON 文件或存入数据库。

      ? 进阶建议：若需高可靠性，可封装为函数并加入日志与重试机制；对动态渲染页面，考虑切换至 Selenium 或 Playwright 配合 BeautifulSoup 解析 DOM 快照。始终遵守 robots.txt 并设置合理请求间隔，尊重网站爬虫协议。