Python网页抓取三步：发请求（requests带headers）、取内容（检查status_code）、提数据（BeautifulSoup用select找标签，get_text清洗）；保存用CSV或JSON，每页print进度。
用Python做网页抓取，核心就三步：发请求、取内容、提数据。不写花哨框架，从真实网页出发，把每一步踩实。
选对工具：requests + BeautifulSoup 是新手黄金组合
requests 负责“敲门”，拿到网页源码；BeautifulSoup 负责“读纸条”，从 HTML 里精准找出你要的信息。不用 Selenium，除非页面靠 JS 渲染且没提供 API。
- 安装命令：pip install requests beautifulsoup4
- 加 headers 模拟浏览器访问，避免被封（User-Agent 必填）
- 检查 response.status_code == 200 再解析，否则先看错在哪
定位目标：用浏览器开发者工具找真实数据位置
右键网页 → “检查” → 切到 Elements 标签，鼠标悬停看结构。别信网页显示的样子，要看 HTML 源码里怎么写的。
- 标题可能是 <h1 class="title">，也可能是 <span data-v-abc123> —— 以实际标签为准
- 用 Ctrl+F 在 Elements 面板里搜关键词（比如“价格”、“作者”），快速定位
- 优先用 class、id 等稳定属性；避免依赖嵌套层数（如 div > div > ul > li:nth-child(2)），容易失效
提取数据：用 select() 或 find_all() 抓准节点，再用 .get_text() 或 .get() 清洗
BeautifulSoup 的 select() 支持 CSS 选择器，比 find_all 好写易读；.get_text() 自动去空格换行，.get('href') 提链接属性。
立即学习“Python免费学习笔记（深入）”；
- 例：提取所有书名 soup.select('div.book-item h2') → 循环调用 .get_text(strip=True)
- 提取图片地址：img = soup.select_one('img.cover'); url = img.get('data-src') or img.get('src')（兼容不同字段）
- 遇到空值加判断：if title_tag: title = title_tag.get_text(strip=True)
保存结果：CSV 最简够用，JSON 更适合结构化数据
别一上来就存数据库。先输出到 CSV，能打开、能验数，再升级。
