如何编写简单的 Python 爬虫？安装 BeautifulSoup4 和 Requests 库。向网站发送 HTTP 请求。使用 BeautifulSoup 解析 HTML 文档。使用 find()、find_all() 和 get_text() 提取数据。处理和分析提取到的数据。
如何编写简单 Python 爬虫
简介
爬虫是一种用于从网站提取数据的自动化程序。Python 是一种功能强大的编程语言，非常适合编写爬虫。本文将指导您学习如何编写简单的 Python 爬虫。
步骤 1：安装必要的库
立即学习“Python免费学习笔记（深入）”；
您需要安装两个库：
- BeautifulSoup4：用于解析 HTML 文档。
- Requests：用于发送 HTTP 请求。
使用以下命令安装这些库：
<code>pip install beautifulsoup4 requests</code>
步骤 2：发送 HTTP 请求
第一步是向要爬取的网站发送 HTTP 请求。为此，您可以使用 requests.get() 函数：
<code class="python">import requests url = 'https://example.com' response = requests.get(url)</code>
response 变量将包含网站的 HTML 内容。
步骤 3：解析 HTML 文档
接下来，您需要解析 HTML 文档以提取所需数据。您可以使用 BeautifulSoup 库中的 BeautifulSoup 类：
<code class="python">from bs4 import BeautifulSoup soup = BeautifulSoup(response.content, 'html.parser')</code>
soup 变量现在包含一个解析过的 HTML 文档，您可以使用它来查找和提取数据。
步骤 4：提取数据
要提取数据，您可以使用 find(), find_all() 和 get_text() 方法。例如，要提取页面上的所有链接，您可以使用：
<code class="python">links = soup.find_all('a')
for link in links:
print(link.get('href'))</code>步骤 5：处理数据
一旦提取了数据，您就可以对其进行处理和分析。例如，您可以将提取到的链接存储到文件中，或将其用于进一步的分析。
示例
以下是一个示例 Python 爬虫，用于提取页面上的所有链接：
<code class="python">import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
links = soup.find_all('a')
with open('links.txt', 'w') as f:
for link in links:
f.write(link.get('href') + '\n')</code>这个爬虫会提取页面上的所有链接并将它们存储到 links.txt 文件中。
