本教程旨在指导用户如何高效获取机器学习领域主要会议（如neurips、icml、cvpr）的论文数据。文章将详细介绍针对2023年及以后会议，应使用openreview的最新api版本（openreview.api.openreviewclient配合api2.openreview.net端点）来访问数据。同时，针对部分会议（如cvpr 2023），当openreview api不适用时，本教程将提供基于python的网页抓取方案，帮助用户从会议官方开放访问网站提取所需信息。
1. 理解OpenReview API的不同版本
OpenReview平台作为许多学术会议的论文提交和评审系统，提供了API供研究者获取会议数据。然而，随着平台的发展，其API也经历了版本迭代。对于2023年及以后的会议数据，传统的openreview.Client类和https://api.openreview.net端点可能无法正常工作，导致返回空列表或“Group Not Found”错误。
为了成功访问最新的会议数据，需要使用openreview.api.OpenReviewClient类，并将其baseurl参数指向新的API端点：https://api2.openreview.net。
2. 使用OpenReview API访问最新会议数据
本节将演示如何使用更新后的OpenReview API来获取NeurIPS 2023等会议的论文标题。
2.1 安装OpenReview库
首先，确保您的Python环境中安装了openreview库。如果尚未安装，可以使用pip进行安装：
pip install openreview
2.2 示例：获取NeurIPS 2023论文标题
以下代码展示了如何使用openreview.api.OpenReviewClient获取NeurIPS 2023的论文标题：
import openreview
# 实例化新的OpenReview API客户端
# 注意：baseurl应指向api2.openreview.net
client = openreview.api.OpenReviewClient(baseurl='https://api2.openreview.net')
# 获取指定会议的所有投稿
# 'venueid'是识别会议的关键，格式通常为 '会议名称.cc/年份/Conference'
submissions = client.get_all_notes(content={'venueid':'NeurIPS.cc/2023/Conference'})
# 从投稿对象中提取论文标题
papers_titles = [s.content['title']['value'] for s in submissions]
# 打印前10个标题进行验证
print("NeurIPS 2023 论文标题（前10个）:")
for title in papers_titles[:10]:
print(f"- {title}")运行上述代码，您将获得类似以下的输出：
NeurIPS 2023 论文标题（前10个）: - Online PCA in Converging Self-consistent Field Equations - Don’t blame Dataset Shift! Shortcut Learning due to Gradients and Cross Entropy - On Slicing Optimality for Mutual Information - k-Median Clustering via Metric Embedding: Towards Better Initialization with Differential Privacy - Information Maximization Perspective of Orthogonal Matching Pursuit with Applications to Explainable AI - STEVE-1: A Generative Model for Text-to-Behavior in Minecraft - AMAG: Additive, Multiplicative and Adaptive Graph Neural Network For Forecasting Neuron Activity - Conditional Matrix Flows for Gaussian Graphical Models - Representational Strengths and Limitations of Transformers - Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer
注意事项：
- API客户端选择： 务必使用openreview.api.OpenReviewClient而不是openreview.Client。
- API端点： baseurl参数必须设置为'https://api2.openreview.net'。
- venueid格式： content={'venueid': '会议名称.cc/年份/Conference'}是获取特定会议数据的标准方式。请根据目标会议和年份调整venueid。
- 获取所有笔记： client.get_all_notes()方法用于获取所有符合条件的投稿（笔记）。
- 数据结构： 投稿数据存储在s.content字典中，标题通常位于s.content['title']['value']。
3. 针对特定会议的网页抓取方法
并非所有会议都将所有公共数据通过OpenReview API完全暴露，或者它们可能选择使用其他平台发布其开放访问内容。例如，CVPR 2023虽然使用了OpenReview进行评审，但其公开的论文标题等信息主要发布在自己的开放访问网站上。在这种情况下，网页抓取（Web Scraping）是一个有效的替代方案。
3.1 网页抓取工具准备
我们将使用requests库来发送HTTP请求获取网页内容，并使用lxml库来解析HTML文档并提取数据。
首先，确保安装了这些库：
pip install requests lxml
3.2 示例：抓取CVPR 2023论文标题
以下代码演示了如何从CVPR 2023的开放访问网站抓取论文标题：
import requests from lxml.html import fromstring # 目标网页URL url = 'https://openaccess.thecvf.com/CVPR2023?day=all' # 发送HTTP GET请求获取网页内容 response_text = requests.get(url).text # 使用lxml解析HTML内容 response_html = fromstring(response_text) # 使用XPath表达式选择论文标题元素 # 这里的XPath '/html/body/dl/dt/a/text()' 是根据目标网页的HTML结构确定的 # 它定位到
运行上述代码，您将获得类似以下的输出：
CVPR 2023 论文标题（前10个）: - GFPose: Learning 3D Human Pose Prior With Gradient Fields - CXTrack: Improving 3D Point Cloud Tracking With Contextual Information - Deep Frequency Filtering for Domain Generalization - Frame Flexible Network - Unsupervised Cumulative Domain Adaptation for Foggy Scene Optical Flow - NoisyTwins: Class-Consistent and Diverse Image Generation Through StyleGANs - DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-Aware Scene Synthesis - Revisiting Self-Similarity: Structural Embedding for Image Retrieval - Minimizing the Accumulated Trajectory Error To Improve Dataset Distillation - Decoupling-and-Aggregating for Image Exposure Correction
注意事项：
- XPath表达式： 网页的HTML结构可能会发生变化，因此XPath表达式需要根据目标网站的实际结构进行调整。您可以使用浏览器开发者工具（F12）检查元素并生成XPath。
- 网站政策： 在进行网页抓取之前，请务必查阅网站的robots.txt文件和使用条款，确保您的行为符合网站政策，避免对服务器造成不必要的负担。
- 异常处理： 在实际应用中，应添加错误处理机制（如try-except块）来处理网络请求失败、HTML解析错误等情况。
- 速率限制： 避免在短时间内发送大量请求，可以添加延时（time.sleep()）来模拟人类行为，防止IP被封禁。
4. 总结
获取学术会议论文数据需要灵活运用不同的工具和方法：
- 对于OpenReview平台上的最新会议（2023年及以后）：优先使用openreview.api.OpenReviewClient类，并确保baseurl指向https://api2.openreview.net。
- 对于不通过OpenReview API提供完整数据或使用其他平台的会议：可以考虑使用requests和lxml等库进行网页抓取。在进行网页抓取时，务必尊重网站的使用政策和robots.txt文件，并注意错误处理和速率限制。
始终建议首先查阅会议的官方网站或OpenReview页面，了解其数据发布方式和可用的API文档，以选择最合适的数据获取策略。
