答案：使用Python爬取商品信息需先分析网页结构，再用requests发送请求获取页面内容，通过BeautifulSoup解析HTML提取数据，最后保存为CSV文件。过程中需添加headers避免反爬，控制请求频率，并遵守网站robots.txt规则。对于动态加载的页面，应采用Selenium等工具模拟浏览器操作。
要使用 Python 爬取线上商品信息，核心步骤包括分析目标网页结构、发送网络请求、提取数据并保存。下面是一个实用的流程说明，适合初学者快速上手。
1. 准备工具和库
Python 提供了多个库来简化爬虫开发：
- requests：发送 HTTP 请求获取网页内容。
- BeautifulSoup（bs4）：解析 HTML，提取所需数据。
- lxml（可选）：更快的 HTML 解析器。
- time：控制请求频率，避免对服务器造成压力。
安装命令：
pip install requests beautifulsoup4 lxml2. 分析网页结构
打开目标商品页面（如京东、淘宝、拼多多等），按 F12 打开开发者工具，查看商品名称、价格、图片等信息对应的 HTML 标签。
立即学习“Python免费学习笔记（深入）”；
例如，某商品标题可能在：
手机
记录下标签名和 class 或 id 属性，后续用 BeautifulSoup 定位。
冰枫CMS企业管理系统1.0
下载
强大的后台在线管理功能，能够在线管理和维护信息，只需要登陆后台，完全傻瓜式的管理，无需专业的网站制作知识，只要您会使用鼠标，轻轻一点，就可以建成属于个人或企业的网站。 主要功能如下：企业概况：新闻中心：产品中心：在线商城：资料中心：网上订单：在线留言：联系方式：后台账号：admin 密码：admin888
3. 发送请求并获取页面
使用 requests 获取网页源码。注意添加 headers 模拟浏览器访问，防止被反爬机制拦截。
import requestsurl = "https://example.com/product-page"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
html_content = response.text
else:
print("无法访问页面")
4. 提取商品信息
使用 BeautifulSoup 解析 HTML 并提取数据。
from bs4 import BeautifulSoupsoup = BeautifulSoup(html_content, 'html.parser')
title = soup.find('div', class_='product-title').get_text(strip=True)
price = soup.find('span', class_='price').get_text(strip=True)
image_url = soup.find('img')['src']
print(f"商品名：{title}")
print(f"价格：{price}")
print(f"图片链接：{image_url}")
5. 保存数据
可将结果保存为 CSV 文件，方便后续分析。
import csvwith open('products.csv', 'a', newline='', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow([title, price, image_url])
6. 注意事项
合法合规是前提。注意以下几点：
- 查看网站的 robots.txt 文件（如 https://example.com/robots.txt），确认是否允许爬取。
- 不要高频请求，添加 time.sleep(1~3) 降低频率。
- 部分网站使用 JavaScript 动态加载数据，需改用 Selenium 或 Playwright 模拟浏览器操作。
- 电商平台如淘宝、京东有较强的反爬机制，建议优先使用其开放 API 或授权接口。
基本上就这些。掌握基础后，可以扩展到批量爬取列表页商品、翻页处理、异常重试等功能。不复杂但容易忽略细节。
