python爬虫入门关键在于掌握requests+beautifulsoup处理静态页面，动态内容则用ajax分析或selenium；需注意反爬策略、请求规范及编码问题。
Python爬虫并不难上手，关键在于理解请求-响应机制、HTML结构和数据提取逻辑。掌握 requests + BeautifulSoup 组合，再配合少量正则或 re 模块，就能应对大多数静态页面抓取需求；遇到动态加载内容时，再引入 Selenium 或分析 Ajax 接口即可。
一、环境准备与第一个爬虫
安装核心库只需两条命令：
- pip install requests beautifulsoup4（基础抓取+解析）
- pip install lxml（可选，提升 BeautifulSoup 解析速度）
写一个获取网页标题的小例子：
import requests from bs4 import BeautifulSoup <p>url = "<a href="https://www.php.cn/link/1536687004241eb9faeee0e227b58c60">https://www.php.cn/link/1536687004241eb9faeee0e227b58c60</a>" res = requests.get(url) res.raise_for_status() # 检查请求是否成功 soup = BeautifulSoup(res.text, "lxml") title = soup.title.string.strip() print(title) # 输出：Herman Melville - Moby-Dick
二、精准提取网页数据的常用方法
网页中真正需要的数据往往藏在特定标签、属性或层级里。掌握以下技巧能大幅提高提取准确率：
立即学习“Python免费学习笔记（深入）”；
- 用 soup.find("tag", {"attr": "value"}) 定位唯一元素，比如
soup.find("div", class_="content") - 用 soup.select("css_selector") 批量提取，如
soup.select("a[href^='https']")获取所有外链 - 对文本内容做清洗：用
.get_text(strip=True)去空格换行，避免 \n\t 干扰 - 提取属性值用
elem.get("href")或elem["href"]（后者要求属性一定存在）
三、绕过简单反爬与规范请求行为
很多网站会检查 User-Agent 或拒绝无头请求。添加基础 headers 就能解决大部分 403 问题：
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
res = requests.get(url, headers=headers)其他实用建议：
- 加 time.sleep(1) 控制请求频率，尊重 robots.txt 和网站运营规则
- 用 session = requests.Session() 复用连接，适合多页登录或带 Cookie 场景
- 遇到编码乱码，先看
res.encoding，再手动设为res.encoding = "utf-8"或用res.content.decode("gbk")
四、处理动态渲染页面的两种思路
当页面内容由 JavaScript 渲染（如滚动加载、点击展开），requests 拿不到真实数据，这时有两个主流方案：
- 分析 Ajax 接口：打开浏览器开发者工具（F12）→ Network → 切到 XHR，刷新页面，找返回 JSON 的请求地址，直接 requests 调用它
-
用 Selenium 模拟浏览器：适合复杂交互，但启动慢、资源占用高。简单示例：
from selenium import webdriver<br> driver = webdriver.Chrome()<br> driver.get(url)<br> title = driver.title<br> driver.quit()
优先尝试接口分析，效率高、稳定性好；Selenium 留作兜底手段。
