本文旨在解决使用BeautifulSoup爬取网页表格时，因部分数据通过JavaScript动态加载导致内容缺失的问题。通过详细分析Oracle云定价页面的案例，教程将指导读者如何识别并获取隐藏在JSON API中的动态数据，并将其与BeautifulSoup解析的静态HTML内容有效整合，最终构建一个完整、准确的数据集。
在进行网页数据抓取时，开发者常常会遇到BeautifulSoup无法获取到页面上所有可见内容的情况。这通常是因为网页中的某些数据并非直接嵌入在初始HTML中，而是通过JavaScript在页面加载后动态请求并渲染的。本文将以Oracle云定价页面为例，详细阐述如何识别这类动态内容，并通过结合静态HTML解析与动态API数据获取的方法，实现完整、准确的数据抓取。
1. 问题识别：BeautifulSoup与浏览器开发者工具的差异
当使用BeautifulSoup解析网页时，如果发现某些表格单元格（如价格信息）在打印出的HTML中显示为空或不完整，但在浏览器开发者工具中却能看到完整内容，这便是一个典型的动态加载数据信号。
例如，在抓取Oracle云虚拟机构建定价表时，初始的BeautifulSoup代码可能得到如下结果，其中价格相关的
而通过浏览器开发者工具检查同一行，会发现第二和第三列实际包含了价格信息：
$0.01
这种差异表明，价格数据是在页面加载后通过异步请求获取的。
2. 定位动态数据源
解决此问题的关键在于找到动态加载数据的源头。通常，这可以通过浏览器的开发者工具（Network标签页）来完成。当页面加载时，观察网络请求，寻找返回JSON格式数据的XHR或Fetch请求。
在Oracle云定价页面的案例中，经过检查可以发现，价格数据是从一个JSON文件加载的：https://www.oracle.com/a/ocom/docs/pricing/cloud-price-list.json。这个JSON文件包含了所有产品的定价信息，并通过partNumber（部件号）与HTML表格中的产品进行关联。
3. 数据抓取与整合策略
一旦确定了动态数据源，接下来的步骤是：
- 使用requests库获取并解析静态HTML页面内容。
- 使用requests库获取并解析动态JSON数据。
- 通过partNumber或其他唯一标识符，将HTML表格中抓取的产品信息与JSON数据中的价格信息进行匹配和整合。
3.1 核心代码实现
以下是实现这一策略的Python代码：
from bs4 import BeautifulSoup
import requests
import re
import pandas as pd
# 1. 获取动态价格数据
# ----------------------------------------------------------------------
json_data_url = 'https://www.oracle.com/a/ocom/docs/pricing/cloud-price-list.json'
try:
json_data = requests.get(json_data_url).json()
except requests.exceptions.RequestException as e:
print(f"Error fetching JSON data: {e}")
json_data = {} # Fallback to empty dict
currency = 'USD' # 假设我们关注美元价格
# 2. 获取静态HTML页面内容
# ----------------------------------------------------------------------
url = 'https://www.oracle.com/uk/cloud/compute/pricing/#compute-vm'
try:
oracle_website = requests.get(url).text
soup = BeautifulSoup(oracle_website, "html.parser")
except requests.exceptions.RequestException as e:
print(f"Error fetching HTML page: {e}")
exit() # Exit if we can't get the page
# 3. 遍历表格并整合数据
# ----------------------------------------------------------------------
rows_data = []
# 定位包含虚拟机定价表的div
virtual_machine_table_div = soup.find("div", class_="rc34w5 rw-neutral-00bg")
if virtual_machine_table_div and virtual_machine_table_div.table:
virtual_machine_table = virtual_machine_table_div.table
for compute_products_tbody in virtual_machine_table.find_all("tbody"):
trs = compute_products_tbody.find_all("tr")
for tr in trs:
part_number = None
# 尝试从tr标签的data-partnumber属性获取
if 'data-partnumber' in tr.attrs:
part_number = tr['data-partnumber']
else:
# 尝试从td内部的div获取data-partnumber
# 注意：原始问题中的第二个td是价格占位符，这里我们找第一个可能包含partNumber的td
# 更稳健的做法是遍历所有td或直接从tr获取
first_td_div = tr.find('td')
if first_td_div:
div_with_part_num = first_td_div.find('div', {'data-partnumber': re.compile('.*')})
if div_with_part_num:
part_number = div_with_part_num['data-partnumber']
# 初始化价格
comp_price = '-'
unit_price = '-'
# 根据part_number从JSON数据中查找价格
if part_number:
if part_number == 'B93297': # 特殊处理 'Compute – Ampere A1 – OCPU'
if 'vcpuRangeItems' in json_data and part_number in json_data['vcpuRangeItems']:
price_info = json_data['vcpuRangeItems'][part_number].get(currency)
if price_info:
comp_price = price_info[-1]['value']
unit_price = price_info[-1]['value']
elif part_number not in json_data['vcpuItems'] and part_number not in json_data['items'] and part_number not in json_data['rangeItems']:
# 如果part_number不在任何已知价格类型中，则价格未知
comp_price = '-'
unit_price = '-'
else:
# 从vcpuItems获取Comparison Price
if 'vcpuItems' in json_data and part_number in json_data['vcpuItems']:
comp_price = json_data['vcpuItems'][part_number].get(currency, '-')
# 从items或rangeItems获取Unit Price
if 'items' in json_data and part_number in json_data['items']:
unit_price = json_data['items'][part_number].get(currency, '-')
elif 'rangeItems' in json_data and part_number in json_data['rangeItems']:
price_info = json_data['rangeItems'][part_number].get(currency)
if price_info:
unit_price = price_info[-1]['value'] # 取最后一个（可能是最高范围或默认值）
elif part_number is None: # 处理没有part_number的产品，如Free tier
product_name_td = tr.find('td')
if product_name_td and "Free" in product_name_td.text:
comp_price = 'Free'
unit_price = 'Free'
# 提取产品名称和单位
tds = tr.find_all('td')
product_name = tds[0].text.strip() if len(tds) > 0 else ''
unit = tds[-1].text.strip() if len(tds) > 0 else '' # 最后一个td是单位
row = {
'partNumber': part_number,
'Product': product_name,
'Comparison Price (/vCPU)': comp_price,
'Unit price': unit_price,
'Unit': unit,
}
rows_data.append(row)
else:
print("Could not find the virtual machine table.")
# 4. 使用pandas生成结构化输出
# ----------------------------------------------------------------------
df = pd.DataFrame(rows_data)
print(df.to_markdown(index=False))
3.2 代码解析与注意事项
- 导入必要的库: BeautifulSoup用于HTML解析，requests用于HTTP请求，re用于正则表达式匹配（在某些情况下定位data-partnumber），pandas用于数据整理和输出。
- 获取JSON数据: 使用requests.get(json_data_url).json()直接获取并解析JSON格式的定价数据。这是解决问题的核心步骤。
- 获取HTML数据: 同样使用requests.get(url).text获取网页内容，并用BeautifulSoup进行解析。
- 定位表格: 通过soup.find("div", class_="rc34w5 rw-neutral-00bg").table准确找到目标定价表格。
-
遍历行与提取partNumber:
- 遍历每个
标签。 - partNumber是连接HTML产品信息和JSON价格数据的关键。它可能存在于
标签的data-partnumber属性中，也可能嵌套在 标签内的 元素中。代码中尝试了两种获取方式。- 价格查找逻辑:
- JSON数据结构可能复杂，包含多种价格类型（如vcpuRangeItems, vcpuItems, items, rangeItems）。需要根据partNumber的特点和JSON结构，编写相应的条件逻辑来查找正确的Comparison Price和Unit Price。
- 例如，B93297在vcpuRangeItems中，而其他产品可能在vcpuItems或items中。
- 对于没有partNumber但产品名称中包含“Free”的行，需要特殊处理，将其价格标记为“Free”。
- 使用json_data.get(key, {})或dict.get(key, default_value)可以避免在键不存在时引发KeyError，提高代码的健壮性。
- 数据整合: 将提取的产品名称、partNumber、计算出的价格和单位信息组织成字典，并添加到列表中。
- Pandas输出: 最后，使用pandas.DataFrame将收集到的数据转换为表格形式，并打印为Markdown格式，便于查看和进一步处理。
4. 总结
当BeautifulSoup无法抓取到网页上可见的全部内容时，很可能是因为这些内容是通过JavaScript动态加载的。解决这类问题的关键在于：
- 利用浏览器开发者工具（尤其是Network标签页）识别动态数据请求及其API地址。
- 直接请求动态数据API（通常返回JSON或XML格式）。
- 将动态数据与静态HTML解析结果进行整合，通常通过一个唯一的标识符（如data-partnumber）进行匹配。
这种方法比使用Selenium等全功能浏览器自动化工具更高效，因为它避免了渲染整个页面和执行JavaScript的开销，直接获取了原始数据。掌握这种“静态+动态”结合的抓取策略，能有效应对现代网页的复杂性，实现更精准和高效的数据抓取。
- partNumber是连接HTML产品信息和JSON价格数据的关键。它可能存在于
- 遍历每个
