量化交易网页数据爬取核心是稳定、合规、可持续，需确认网站允许爬虫、数据合法、用途合理；静态页用requests+beautifulsoup，动态页优选playwright；数据须结构化存储并实现增量更新。
量化交易中爬取网页数据，核心不是技术多炫酷，而是稳定、合规、可持续。重点不在“能抓到”，而在“抓得准、存得住、用得上”。
明确目标网站与数据合法性
动手前先确认三件事：目标网站是否允许爬虫（看 robots.txt）、数据是否受版权或法律保护（比如财报原始文件可爬，但加工后的研报摘要可能侵权）、你的用途是否属于合理使用（个人学习一般没问题，商用需谨慎）。国内金融类网站如东方财富、同花顺等，首页公开的行情列表、公告标题、基础财务指标通常可采集；但实时逐笔委托、未公开的内部数据绝对不能碰。
用 requests + BeautifulSoup 快速抓取静态页面
多数财经门户的股票列表页、公司公告页是静态 HTML，不需要渲染 JS。推荐组合：requests发请求 + BeautifulSoup解析。注意加 headers 模拟浏览器，避免被 403 拦截；必要时加随机 delay 控制频率。
- 示例：抓某股最新 10 条公告标题和链接
- 用 requests.get(url, headers=hdr) 获取响应
- 用 soup.select('div.notice-list a') 提取标题节点
- 用 .get_text().strip() 和 .get('href') 分别提取文字和链接
处理 JavaScript 渲染页面：Playwright 更轻量可靠
像雪球个股页、巨潮资讯的部分年报预览页，内容由 JS 动态加载，requests 拿不到真实数据。这时不用硬上 Selenium，推荐 Playwright——启动快、内存低、API 清晰，支持同步/异步模式。只需启动浏览器上下文 → 跳转页面 → 等待指定元素出现 → 提取 innerText 或属性值。
- 避免截图或全页等待，用 page.wait_for_selector('.report-item', state='visible')
- 提取完立刻 close context，防止内存堆积
- 本地调试时加 headless=False 方便排查
结构化存储与增量更新机制
爬下来的数据不入库等于白爬。建议直接写入 SQLite（轻量项目）或 PostgreSQL（多用户/高频更新），字段包含：唯一标识（如公告编号）、来源 URL、抓取时间、正文摘要、发布时间（从页面解析）、状态（成功/失败）。关键要加唯一索引（如 (stock_code, notice_id)），再配合简单 SQL 判断是否已存在，实现增量抓取。
- 每次运行前先查数据库是否存在该条记录
- 只插入 where not exists 的新数据
- 定期清理超 6 个月的临时缓存页源码
基本上就这些。不复杂，但容易忽略细节。爬得稳，才跑得久。
