Selenium可模拟真实浏览器操作，适用于JavaScript动态网页抓取。1. 安装Selenium并配置浏览器驱动；2. 使用webdriver启动浏览器访问页面，支持无头模式；3. 通过ID、XPath等方式定位元素并进行输入、点击等交互；4. 利用WebDriverWait等待元素加载，处理alert弹窗；5. 操作完成后调用driver.quit()关闭浏览器释放资源。
Python爬虫使用Selenium可以模拟真实浏览器行为，适合处理JavaScript动态加载的网页。相比requests直接请求HTML，Selenium能自动点击、滚动、填写表单，更接近用户操作。以下是具体使用方法和步骤。
安装Selenium与配置浏览器驱动
先通过pip安装Selenium：
pip install selenium然后下载对应浏览器的驱动程序，例如Chrome需要ChromeDriver。将驱动解压后放入系统PATH路径，或指定其绝对路径。
启动浏览器并打开网页
使用webdriver启动浏览器实例，访问目标页面：
立即学习“Python免费学习笔记（深入）”；
from selenium import webdriver# 启动Chrome浏览器
driver = webdriver.Chrome() # 确保ChromeDriver在PATH中
# 打开网页
driver.get("https://example.com")
这会弹出一个真实的Chrome窗口，默认是手动控制模式。如需无头模式（不显示界面），可添加选项：
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)
定位元素与常见操作
Selenium支持多种方式查找页面元素，比如ID、类名、XPath等：
- find_element_by_id：通过id定位
- find_element_by_name：通过name属性
- find_element_by_xpath：使用XPath表达式，最灵活
- find_element_by_css_selector：用CSS选择器
示例：输入文本并点击按钮
# 输入用户名username_input = driver.find_element_by_name("username")
username_input.send_keys("myuser")
# 输入密码
password_input = driver.find_element_by_name("password")
password_input.send_keys("mypass")
# 点击登录
login_button = driver.find_element_by_id("login-btn")
login_button.click()
等待页面加载与处理弹窗
动态页面需要等待元素出现。建议使用WebDriverWait配合expected_conditions：
from selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
# 等待最多10秒，直到元素可见
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "content"))
)
遇到JavaScript弹窗（alert）时，可用switch_to处理：
alert = driver.switch_to.alertprint(alert.text) # 获取提示内容
alert.accept() # 点击确定
关闭浏览器记得调用driver.quit()释放资源。基本上就这些，掌握元素定位和等待机制就能应对大多数动态页面抓取需求。
