Python爬虫中的数据获取与转换Python爬虫通过HTTP请求、解析HTML/JSON或使用API获取互联网数据。转换方法有：数据类型转换：字符串到数字、数字到字符串、列表到字典CSV转换：转换为CSV或从CSV读取JSON转换：转换为JSON字符串或从JSON读取数据库转换：写入或从SQL或MongoDB数据库读取
如何获取和转换 Python 爬虫数据
Python 爬虫广泛用于获取互联网上的数据。为了使数据可以用于分析或进一步处理，通常需要将其转换为不同的格式。
获取数据
Python 爬虫可以通过以下方式获取数据：
立即学习“Python免费学习笔记（深入）”；
-
发送 HTTP 请求：使用
requests库或urllib模块发送 HTTP 请求并解析响应。 -
解析 HTML/JSON：使用
BeautifulSoup库或json模块解析 HTML 或 JSON 页面。 - 使用 API：通过 API 调用访问网站或服务上的数据。
转换数据
获取数据后，可以使用以下方法将其转换为不同的格式：
1. 数据类型转换
-
字符串到数字：使用
int()或float()将字符串转换为整数或浮点数。 -
数字到字符串：使用
str()将数字转换为字符串。 -
列表到字典：使用
dict()将列表转换为字典，其中第一个元素是键，第二个元素是值。
2. CSV 转换
-
转换为 CSV：使用
csv模块将数据写入 CSV 文件。 -
从 CSV 读取：使用
csv模块从 CSV 文件读取数据。
3. JSON 转换
-
转换为 JSON：使用
json模块将数据转换为 JSON 字符串。 -
从 JSON 读取：使用
json模块从 JSON 字符串读取数据。
4. 数据库转换
-
写入数据库：使用
SQLAlchemy或pymongo等库将数据写入基于 SQL 或 MongoDB 的数据库。 - 从数据库读取：使用上述库从数据库读取数据。
示例
假设我们已从网站上获取了以下 HTML 代码：
| 姓名 | 年龄 |
|---|---|
| 约翰 | 30 |
| 玛丽 | 25 |
我们可以使用 BeautifulSoup 提取数据并将其转换为 JSON：
import bs4
import json
soup = bs4.BeautifulSoup(html, 'html.parser')
data = []
for row in soup.find('table').find_all('tr'):
data.append({
'姓名': row.find('td', {'class': 'name'}).text,
'年龄': row.find('td', {'class': 'age'}).text
})
json_data = json.dumps(data)这样，我们就将 HTML 数据转换为 JSON 字符串。
