答案是：用Python爬虫抓取新闻需三步：先用requests获取网页，再用BeautifulSoup解析并提取正文，最后清洗存储数据。
想用Python爬虫从新闻网站抓取文章内容，核心就是“获取页面-解析数据-提取正文”。整个过程不难，掌握几个关键步骤和工具就能上手。下面以通用方法为例，带你一步步实现。
准备基础工具和环境
开始前，先安装必需的Python库。最常用的是requests用来发送网络请求，BeautifulSoup用来解析网页结构。打开命令行，运行：
- pip install requests beautifulsoup4
如果目标网站动态加载内容，可能还需要selenium。基础库装好后，就可以写代码了。
获取并解析新闻列表页
第一步是拿到新闻列表的HTML。用requests.get()请求目标网址，并设置一个浏览器一样的User-Agent，避免被直接拒绝。
立即学习“Python免费学习笔记（深入）”；
- 发送GET请求到新闻网站首页或栏目页
- 检查返回的status_code是否为200，确认请求成功
- 用BeautifulSoup(response.text, 'html.parser')解析HTML
- 使用find_all()或CSS选择器找出包含新闻标题和链接的标签
比如，找到所有class为"news-title"的a标签，就能提取出每条新闻的跳转链接。
深入文章页提取正文内容
拿到列表里的文章链接后，对每个链接再次发起请求，进入具体的文章页面。这时的重点是定位正文所在的HTML元素。
- 观察文章页的源码，找到包裹正文内容的div或p标签，通常有类似"content"、"article"的class名
- 用soup.find('div', class_='content')精确定位
- 提取该元素下的所有文字，可用.get_text()方法，并做简单清洗，如去除多余空格或广告文本
可以把标题、发布时间、正文等信息整理成字典，方便后续存储。
保存数据并注意反爬策略
提取好的数据可以存为CSV、JSON文件，或者用MongoDB等数据库。同时要注意，频繁访问可能触发网站的反爬机制。
- 在每次请求间加入time.sleep(1-3)的随机延迟
- 考虑使用代理IP池轮换IP地址
- 始终遵守网站的robots.txt协议，尊重对方的爬取规则
基本上就这些，动手试试看，很快就能看到效果。
