本文将介绍如何从维基百科的术语表页面提取所有子页面的浏览量。由于术语表页面的内容是非结构化的，因此无法像处理分类页面那样直接提取浏览量。本文将指导你如何通过解析页面内容提取页面标题，并使用维基百科 Pageviews API 获取每个页面的浏览量，同时提供Python示例代码演示该过程。
提取页面标题
由于维基百科术语表页面的结构是非结构化的，我们需要首先解析页面内容，提取所有链接指向的页面标题。 这通常涉及使用 HTML 解析库，例如 Python 中的 Beautiful Soup。
import requests
from bs4 import BeautifulSoup
def extract_page_titles(url):
"""
从维基百科页面提取所有链接的页面标题。
Args:
url (str): 维基百科页面的 URL。
Returns:
list: 页面标题列表。
"""
try:
response = requests.get(url)
response.raise_for_status() # 检查请求是否成功
soup = BeautifulSoup(response.content, 'html.parser')
# 根据实际页面结构调整选择器
links = soup.find_all('a', href=True)
page_titles = []
for link in links:
href = link['href']
if href.startswith('/wiki/') and not any(x in href for x in [':', '#']):
title = href.replace('/wiki/', '')
page_titles.append(title)
return page_titles
except requests.exceptions.RequestException as e:
print(f"请求错误: {e}")
return []
except Exception as e:
print(f"解析错误: {e}")
return []
# 示例用法
url = 'https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics'
page_titles = extract_page_titles(url)
print(page_titles)代码解释:
- 导入库: 导入 requests 用于发送 HTTP 请求，BeautifulSoup 用于解析 HTML。
-
extract_page_titles(url) 函数:
- 接受维基百科页面 URL 作为输入。
- 使用 requests.get() 获取页面内容。
- 使用 BeautifulSoup 解析 HTML 内容。
- 使用 soup.find_all('a', href=True) 查找所有 <a> 标签，并检查它们是否有 href 属性。
- 遍历所有找到的链接，提取 href 属性。
- 过滤掉不符合要求的链接，例如指向站内其他位置的链接（包含:或#），以及非/wiki/开头的链接。
- 从 href 属性中提取页面标题（删除 /wiki/ 前缀）。
- 返回页面标题列表。
-
示例用法:
- 指定维基百科术语表页面的 URL。
- 调用 extract_page_titles() 函数获取页面标题列表。
- 打印页面标题列表。
注意事项:
- 你需要根据实际的维基百科页面结构调整 soup.find_all() 中的选择器。 维基百科的页面结构可能会改变，所以需要根据实际情况进行调整。
- 该代码仅提取以/wiki/开头的链接，并排除了包含:和#的链接。你可能需要根据你的具体需求修改过滤条件。
- 错误处理：添加了 try...except 块来处理可能出现的请求错误和解析错误。
获取页面浏览量
提取页面标题后，可以使用维基百科 Pageviews API 获取每个页面的浏览量。
import requests
import json
def get_pageviews(titles, start='20000101', end='20231001'):
"""
从维基百科 Pageviews API 获取页面的浏览量。
Args:
titles (list): 页面标题列表。
start (str): 开始日期 (YYYYMMDD)。
end (str): 结束日期 (YYYYMMDD)。
Returns:
dict: 页面标题和浏览量组成的字典。
"""
endpoint = "https://pageviews.toolforge.org/api/views/"
pageviews = {}
# API 有标题数量限制，所以分批处理
batch_size = 50
for i in range(0, len(titles), batch_size):
batch = titles[i:i + batch_size]
titles_str = "|".join(batch)
url = f"{endpoint}?page={titles_str}&start={start}&end={end}"
try:
response = requests.get(url)
response.raise_for_status()
data = response.json()
for page in batch:
pageviews[page] = data.get(page, {'views': 0})['views'] # 默认浏览量为 0
except requests.exceptions.RequestException as e:
print(f"请求错误: {e}")
except json.JSONDecodeError as e:
print(f"JSON 解析错误: {e}")
return pageviews
# 示例用法
# 假设 page_titles 是从上一步提取的页面标题列表
if page_titles: # 检查列表是否为空
pageviews = get_pageviews(page_titles)
for title, views in pageviews.items():
print(f"{title}: {views}")
else:
print("没有提取到页面标题，无法获取浏览量。")代码解释:
- 导入库: 导入 requests 用于发送 HTTP 请求，json 用于解析 JSON 响应。
-
get_pageviews(titles, start, end) 函数:
- 接受页面标题列表、开始日期和结束日期作为输入。
- 构建 Pageviews API 的 URL。
- 发送 HTTP GET 请求到 API。
- 解析 API 响应的 JSON 数据。
- 提取每个页面的浏览量，并将结果存储在字典中。
- 返回页面标题和浏览量组成的字典。
- 批量处理: 由于 Pageviews API 对一次请求中可以传递的标题数量有限制，代码将标题列表分成小批次进行处理。 batch_size 变量控制每个批次的大小。
- 错误处理: 添加了 try...except 块来处理可能出现的请求错误和 JSON 解析错误。
-
示例用法:
- 调用 get_pageviews() 函数获取页面浏览量。
- 遍历结果字典，打印每个页面标题和对应的浏览量。
注意事项:
- Pageviews API 有请求频率限制。 如果你需要获取大量页面的浏览量，请注意控制请求频率，避免被 API 限制。 可以考虑使用 time.sleep() 函数在每次请求之间添加延迟。
- start 和 end 参数指定要获取浏览量的时间范围。 请根据你的需求修改这些参数。
- API 响应的 JSON 结构可能会改变。 如果代码无法正常工作，请检查 API 文档并更新代码。
- 增加空列表的判断，避免因page_titles为空导致程序报错。
总结
通过以上步骤，你可以从维基百科的术语表页面提取所有子页面的浏览量。 首先，你需要解析页面内容，提取所有链接指向的页面标题。 然后，使用维基百科 Pageviews API 获取每个页面的浏览量。 请注意处理 API 的请求频率限制，并根据实际的页面结构和 API 响应更新代码。 此外，请注意遵守维基媒体的使用条款。
