首先确认目标网站数据合法性并遵守robots协议，接着分析网页结构定位所需信息；使用Python的requests和BeautifulSoup库发送请求并解析HTML，提取标题、日期、链接等字段；通过设置请求头、延时和异常处理避免反爬；最后将多页数据保存为CSV文件，实现合规高效的数据采集。
政府网站上有很多公开数据，比如政策文件、项目招标、企业注册信息等，这些数据对研究、分析和商业决策很有价值。用Python爬虫抓取这些数据，既合法又有实际意义，前提是遵守网站的robots协议和使用规范。下面是一个实战教程，带你一步步实现如何用Python获取政府网站的开放数据。
确认目标网站与数据合法性
在动手写代码前，先明确你要抓取的是哪个政府网站，例如“国家企业信用信息公示系统”或“中国政府采购网”。查看网站根目录下的robots.txt文件（如：http://xxx.gov.cn/robots.txt），确认是否允许爬虫访问相关页面。
同时注意：
- 不抓取需要登录或权限认证的数据
- 避免高频请求，设置合理延时（如time.sleep(1~3)）
- 尊重版权，仅用于个人学习或合规用途
分析网页结构并定位数据
以“中国政府采购网”为例，假设你想抓取某类采购公告的标题、发布时间和链接。
立即学习“Python免费学习笔记（深入）”；
打开目标列表页，右键“检查”元素，找到包含公告信息的HTML结构。通常这类数据在<table>或<code><ul>/<li>
</ul>中，每条记录有共同的class或标签。
示例结构可能如下：
<ul class="notice-list">
<li>
<a href="/view/123">某设备采购项目</a>
<span class="date">2024-05-01</span>
</li>
</ul>
你可以用BeautifulSoup或lxml解析HTML，提取所需字段。
编写爬虫代码示例
以下是一个简单的Python爬虫脚本，使用requests和BeautifulSoup抓取列表页数据：
import requests
from bs4 import BeautifulSoup
import time
import csv
<p>url = "<a href="https://www.php.cn/link/3664940859edd8b28137801625a24524">https://www.php.cn/link/3664940859edd8b28137801625a24524</a>"</p><p>headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}</p><p>def scrape_page(url):
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')</p><pre class="brush:php;toolbar:false;"> items = soup.select('.notice-list li')
data = []
for item in items:
link_tag = item.find('a')
title = link_tag.get_text(strip=True)
href = link_tag['href']
full_url = f"http://www.ccgp.gov.cn{href}" if href.startswith('/') else href
date_tag = item.find('span', class_='date')
date = date_tag.get_text(strip=True) if date_tag else '未知'
data.append([title, date, full_url])
return data
except Exception as e:
print(f"抓取失败：{e}")
return []抓取一页测试
results = scrape_page(url)
保存为CSV
with open('government_data.csv', 'w', encoding='utf-8-sig', newline='') as f: writer = csv.writer(f) writer.writerow(['标题', '发布日期', '链接']) writer.writerows(results)
print("数据已保存到 government_data.csv")
处理分页与反爬策略
政府网站常有分页，可通过观察URL变化模拟翻页，例如：
http://xxx.gov.cn/page/1 http://xxx.gov.cn/page/2
在代码中加入循环即可遍历多页。
如果遇到反爬（如验证码、IP限制）：
- 添加随机延迟：
time.sleep(random.uniform(1, 3)) - 使用代理IP池（需谨慎选择合规服务）
- 模拟浏览器行为（可考虑Selenium，但效率较低）
基本上就这些。只要目标网站没有动态加载且未设强反爬，用requests + BeautifulSoup就能搞定大部分政府公开数据抓取任务。关键是耐心分析结构，控制请求频率，确保合规操作。
