从维基百科或其他维基站点的词汇表页面提取所有子页面的浏览量，并非一件直接的事情，因为这些页面的内容通常是非结构化的，不像分类页面那样可以直接通过api获取。 本文将介绍一种通过python手动提取页面标题，然后使用 pageviews api 获取浏览量的方法。
1. 提取页面标题
由于词汇表页面的结构不固定，我们需要先解析HTML内容，提取出所有链接到子页面的标题。 这可以通过使用Python的requests库获取页面内容，然后使用BeautifulSoup库解析HTML来实现。
import requests
from bs4 import BeautifulSoup
def extract_page_titles(url):
"""
从给定的URL中提取所有链接的页面标题。
Args:
url (str): 维基词汇表页面的URL。
Returns:
list: 包含所有提取的页面标题的列表。
"""
try:
response = requests.get(url)
response.raise_for_status() # 检查请求是否成功
soup = BeautifulSoup(response.content, 'html.parser')
# 根据实际的HTML结构调整选择器。
# 这里假设链接位于 <li> 标签内的 <a> 标签中
links = soup.find_all('li')
page_titles = []
for li in links:
a_tag = li.find('a')
if a_tag and a_tag.has_attr('href'):
href = a_tag['href']
if href.startswith('/wiki/'): # 确保是维基页面链接
title = href.replace('/wiki/', '')
page_titles.append(title)
return page_titles
except requests.exceptions.RequestException as e:
print(f"请求错误: {e}")
return []
except Exception as e:
print(f"解析错误: {e}")
return []
# 示例用法
url = 'https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics'
page_titles = extract_page_titles(url)
print(page_titles)注意事项:
- 上述代码中的选择器（li a[href^="/wiki/"]）可能需要根据目标维基页面的实际HTML结构进行调整。 使用浏览器的开发者工具检查页面结构，找到包含页面链接的正确选择器。
- 错误处理：代码包含了基本的异常处理，例如网络请求错误和解析错误。在实际应用中，应根据需要添加更完善的错误处理机制。
2. 获取页面浏览量
提取到页面标题后，可以使用 Pageviews API 获取每个页面的浏览量。 Pageviews API 允许通过URL参数传递多个页面标题，但存在数量限制。 因此，可能需要将页面标题列表分批处理。
import requests
import json
def get_pageviews(titles, start='20200101', end='20231231'):
"""
使用 Pageviews API 获取给定页面标题的浏览量。
Args:
titles (list): 包含页面标题的列表。
start (str): 开始日期，格式为 YYYYMMDD。
end (str): 结束日期，格式为 YYYYMMDD。
Returns:
dict: 包含每个页面标题及其对应浏览量的字典。
"""
base_url = 'https://pageviews.toolforge.org/api/pageviews/get_views/'
params = {
'project': 'en.wikipedia.org',
'pages': '|'.join(titles),
'start': start,
'end': end
}
try:
response = requests.get(base_url, params=params)
response.raise_for_status()
data = response.json()
return data
except requests.exceptions.RequestException as e:
print(f"请求错误: {e}")
return {}
except json.JSONDecodeError as e:
print(f"JSON解码错误: {e}")
return {}
# 示例用法
# 假设已经提取了 page_titles
page_views = get_pageviews(page_titles[:10]) # 限制数量，避免API限制
print(page_views)
注意事项:
- API 限制: Pageviews API 对每次请求的页面标题数量有限制。如果页面数量很多，需要将页面标题列表分成多个批次，分别发送请求。
- 日期格式: start 和 end 参数必须符合 YYYYMMDD 格式。
- 错误处理: 代码包含了基本的异常处理，例如网络请求错误和JSON解码错误。在实际应用中，应根据需要添加更完善的错误处理机制。
- API 文档: 详细的API使用方法，请参考 https://www.php.cn/link/e5e07cc9b49607a00a6d5c9be9b2c364
3. 整合代码
将提取页面标题和获取页面浏览量的代码整合起来，可以创建一个完整的解决方案。
# 整合代码
url = 'https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics'
page_titles = extract_page_titles(url)
if page_titles:
# 分批处理，避免API限制
batch_size = 50 # 根据实际情况调整
for i in range(0, len(page_titles), batch_size):
batch = page_titles[i:i + batch_size]
page_views = get_pageviews(batch)
print(f"Batch {i//batch_size + 1}: {page_views}")
else:
print("未找到页面标题。")总结
本文介绍了一种从维基词汇表页面提取子页面浏览量的方法。 这种方法需要手动解析页面内容，并使用 Pageviews API 获取浏览量。 虽然这种方法比较繁琐，但对于非结构化的页面内容来说，是一种可行的解决方案。 在实际应用中，需要根据目标页面的实际结构和API限制进行调整。 务必注意错误处理和API使用限制，以确保程序的稳定性和可靠性。
