Python网页爬虫核心是“发请求→取内容→解析→存结果”，推荐requests+BeautifulSoup组合，需加headers防反爬、处理编码乱码、用CSS选择器精准定位、加延时与随机User-Agent，并优先保存为UTF-8编码的CSV或JSON。
爬取网页数据在Python自动化脚本中很常见，核心是“发请求→取内容→解析→存结果”，关键不在代码多复杂，而在选对工具、避开反爬、处理好编码和结构。
选对库：requests + BeautifulSoup 是新手最稳的组合
requests 负责发 HTTP 请求拿到 HTML 文本，BeautifulSoup（bs4）负责从 HTML 里精准提取文字、链接、表格等。不需要用 Selenium，除非页面内容靠 JavaScript 动态加载。
- 安装命令：pip install requests beautifulsoup4
- requests.get() 要加 headers（模拟浏览器），否则容易被拒绝；常用 User-Agent 可直接复制主流浏览器的
- 遇到中文乱码，先看响应头里的 encoding，再用 r.encoding = 'utf-8' 或直接 r.content.decode('utf-8') 处理
定位目标：用浏览器开发者工具快速找标签规律
右键网页 → “检查” → 切到 Elements 标签页，鼠标悬停元素，看对应 HTML 结构。重点观察 class、id、标签层级是否稳定，避免依赖随机生成的 class 名（如 “_1a2b3c”）。
- 标题常在
、
或带 title/class="headline" 的
里- 列表数据多在
- /
- /
- 用 bs4 的 select() 方法支持 CSS 选择器，比 find_all 更灵活，比如 select("div.item a[href]")
- 每请求一次，用 time.sleep(1) 停 1 秒，别追求速度，求稳
- 准备 3–5 个不同 User-Agent 字符串，每次随机选一个，避免被识别为脚本
- 如果登录后才能看数据，用 requests.Session() 保持 cookies，先 post 登录接口，再 get 目标页
- 写 CSV：用 csv.writer 或 pandas.DataFrame.to_csv()，记得指定 encoding='utf-8-sig' 防 Excel 中文乱码
- 写 JSON：用 json.dump(data, f, ensure_ascii=False, indent=2)，ensure_ascii=False 才能正常显示中文
- 字段名统一用英文小写+下划线（如 publish_date），别用中文当 key，省去后续转换麻烦
下，用 find_all("li") 或 select("tr td:nth-child(2)") 更直观
应对基础反爬：加延时、换 User-Agent、处理 cookies
单次快速请求多个页面，服务器可能封 IP 或返回空内容。这不是技术问题，是规则意识问题。
立即学习“Python免费学习笔记（深入）”；
保存结果：优先用 CSV 或 JSON，别硬塞 Excel
结构化数据导出，CSV 最轻量、兼容性最好；JSON 更适合嵌套或后续给其他程序用。pandas.to_excel 看似方便，但依赖 openpyxl、易出编码/格式错，小项目不推荐。
基本上就这些。不复杂，但容易忽略 headers、编码、延时这三个点。跑通一次，后面就是复制+微调。
- 列表数据多在
