使用requests获取网页内容，结合BeautifulSoup或lxml解析HTML，通过CSS选择器或XPath提取数据；2. 针对动态加载页面，采用Selenium模拟浏览器渲染；3. 提取后进行数据清洗并结构化存储为CSV或JSON。
Python爬虫提取网页数据的核心在于准确识别并定位目标内容。常用的技术组合是使用requests获取网页源码，再通过BeautifulSoup或lxml解析HTML结构，结合CSS选择器或XPath提取所需信息。掌握这些工具的配合使用，能高效抓取静态网页中的文本、链接、图片等数据。
1. 使用 BeautifulSoup 解析 HTML 并提取数据
BeautifulSoup 是处理 HTML 和 XML 文档的强大库，适合初学者和中小型项目。它能将杂乱的网页结构转化为树形对象，便于遍历和搜索。
基本用法如下：
- 用 requests.get() 请求网页，获取响应内容
- 将响应文本传给 BeautifulSoup(html, 'html.parser') 构建解析对象
- 使用 find() 或 find_all() 按标签名、class、id 等属性查找元素
- 提取标签内的文本用 .text，属性值用 ['href'] 或 ['src']
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a', class_='title')
for link in links:
print(link.text.strip(), link['href'])
2. 利用 XPath 和 lxml 提高定位精度
对于结构复杂或 class/id 动态变化的网页，XPath 能提供更灵活、精准的路径匹配方式。lxml 库支持 XPath 语法，解析速度比 BeautifulSoup 更快。
立即学习“Python免费学习笔记（深入）”；
使用方法：
- 导入 lxml.html，用 html.fromstring(response.text) 构建节点树
- 调用 .xpath('//div[@class="content"]/p/text()') 直接获取文本列表
- 支持逻辑判断，如 //a[contains(@href, "article")]"
3. 处理动态加载内容（JavaScript 渲染）
传统 requests 获取的是原始 HTML，无法读取由 JavaScript 动态插入的数据。这类页面需借助浏览器自动化工具。
解决方案：
- 使用 Selenium + ChromeDriver 模拟真实浏览器行为
- 等待页面加载完成（WebDriverWait 配合预期条件）
- 执行 driver.page_source 获取渲染后的 HTML，再交由 BeautifulSoup 解析
4. 数据清洗与结构化存储
提取出的原始数据常包含空白符、换行、无关字符等，需进行清洗才能使用。
常用清洗技巧：
- 用 .strip() 去除首尾空白
- 正则表达式 re.sub() 替换多余符号
- 转换数据类型，如 int()、float()
- 存入 CSV 或 JSON 文件，便于后续分析
import csv
with open('data.csv', 'w') as f:
writer = csv.writer(f)
writer.writerow(['标题', '链接'])
writer.writerows(data_list)
基本上就这些。关键是根据网页特点选择合适的提取方式，静态页优先用 requests + BeautifulSoup/lxml，动态内容考虑 Selenium 或抓包找接口。保持代码简洁，注意请求频率，避免对目标网站造成压力。
