本文介绍如何使用 Python 从 Wiki 词汇表页面提取所有子页面的浏览量。由于词汇表页面的内容是非结构化的，因此需要手动解析页面内容，提取子页面标题，然后使用 Pageviews API 获取每个子页面的浏览量。本文将提供详细的步骤和示例代码，帮助你完成这个任务。
1. 确定目标页面和工具
首先，你需要确定要提取浏览量的 Wiki 词汇表页面。例如，https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics。
其次，我们将使用 Python 及其相关的库来实现这个目标：
- requests: 用于发送 HTTP 请求，获取页面内容。
- Beautiful Soup 4: 用于解析 HTML 内容，提取子页面标题。
你可以使用 pip 安装这些库：
立即学习“Python免费学习笔记（深入）”；
pip install requests beautifulsoup4
2. 获取页面内容
使用 requests 库获取目标页面的 HTML 内容。
import requests from bs4 import BeautifulSoup url = "https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics" response = requests.get(url) response.raise_for_status() # 检查请求是否成功 html_content = response.text
3. 解析 HTML 内容，提取子页面标题
使用 Beautiful Soup 4 解析 HTML 内容，并提取所有子页面的标题。 因为词汇表页面通常使用列表或链接来组织子页面，你需要根据页面的具体结构来编写解析代码。以下是一个示例，假设子页面链接都包含在 <li> 标签内的 <a> 标签中：
soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []
# 查找所有包含链接的 <li> 标签
for li in soup.find_all('li'):
a_tag = li.find('a')
if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
title = a_tag['title']
page_titles.append(title)
print(page_titles)注意：
- 你需要根据实际页面的 HTML 结构调整解析代码。
- a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/') 确保只提取指向 Wiki 页面的链接。
- a_tag['title'] 提取链接的 title 属性，这通常是页面的标题。
4. 使用 Pageviews API 获取浏览量
使用 Pageviews API 获取每个子页面的浏览量。 Pageviews API 的文档地址是：https://www.php.cn/link/e5e07cc9b49607a00a6d5c9be9b2c364
你可以通过构造 URL 并发送 HTTP 请求来获取浏览量。 Pageviews API 允许一次查询多个页面，页面标题之间用 | 分隔。 但是，一次查询的页面数量有限制，因此你需要分批查询。
import requests
import json
def get_pageviews(titles):
base_url = "https://pageviews.toolforge.org/api/views/per-article/"
params = {
'articles': '|'.join(titles),
'project': 'en.wikipedia.org',
'access': 'all-access', # all-access, desktop, mobile
'agent': 'user', # all-agents, user, spider
'granularity': 'monthly', # daily, monthly
'start': '2020010100', #YYYYMMDDHH
'end': '2024010100' #YYYYMMDDHH
}
response = requests.get(base_url, params=params)
response.raise_for_status()
data = response.json()
return data['items']
# 分批处理页面标题
batch_size = 50 # 一次查询的页面数量限制
all_pageviews = {}
for i in range(0, len(page_titles), batch_size):
batch = page_titles[i:i + batch_size]
pageviews = get_pageviews(batch)
for item in pageviews:
all_pageviews[item['article']] = item['views']
# 打印结果
for title, views in all_pageviews.items():
print(f"{title}: {views}")注意：
- 你需要根据 API 文档调整请求参数，例如 project、start、end 等。
- batch_size 的大小需要根据 API 的限制进行调整。
- get_pageviews 函数返回的是 JSON 数据，你需要解析它以获取浏览量。
- Pageviews API返回的是一段时间内的浏览量，你可以根据 granularity 参数选择每日或每月的浏览量。
5. 完整示例代码
将以上步骤整合起来，得到完整的示例代码：
import requests
from bs4 import BeautifulSoup
import json
def get_pageviews(titles):
base_url = "https://pageviews.toolforge.org/api/views/per-article/"
params = {
'articles': '|'.join(titles),
'project': 'en.wikipedia.org',
'access': 'all-access', # all-access, desktop, mobile
'agent': 'user', # all-agents, user, spider
'granularity': 'monthly', # daily, monthly
'start': '2020010100', #YYYYMMDDHH
'end': '2024010100' #YYYYMMDDHH
}
response = requests.get(base_url, params=params)
response.raise_for_status()
data = response.json()
return data['items']
url = "https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics"
response = requests.get(url)
response.raise_for_status()
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []
# 查找所有包含链接的 <li> 标签
for li in soup.find_all('li'):
a_tag = li.find('a')
if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
title = a_tag['title']
page_titles.append(title)
# 分批处理页面标题
batch_size = 50 # 一次查询的页面数量限制
all_pageviews = {}
for i in range(0, len(page_titles), batch_size):
batch = page_titles[i:i + batch_size]
pageviews = get_pageviews(batch)
for item in pageviews:
all_pageviews[item['article']] = item['views']
# 打印结果
for title, views in all_pageviews.items():
print(f"{title}: {views}")注意事项和总结
- 请务必根据实际页面的 HTML 结构调整解析代码。
- Pageviews API 有请求频率限制，你需要合理控制请求频率，避免被封禁。
- 你可以根据需要修改请求参数，例如 start、end、granularity 等。
- 本教程提供了一个通用的方法，你可以将其应用于其他 Wiki 页面，只需要修改页面 URL 和解析代码即可。
- 可以考虑使用缓存机制，将已经获取过的浏览量缓存起来，避免重复请求 API。
通过本教程，你已经学会了如何使用 Python 从 Wiki 词汇表页面提取所有子页面的浏览量。 希望这些知识对你有所帮助！
