如何将爬虫载入文档？安装BeautifulSoup库载入HTML文档解析HTML文档查找和提取所需数据格式化结果写入文档
如何在 Python 中将爬虫载入文档
将爬虫载入文档有助于记录爬取过程、结果和分析。以下是 Python 中载入爬虫的步骤：
1. 安装 BeautifulSoup
BeautifulSoup 是一个流行的 Python 库，用于解析和修改 HTML 和 XML 文档。要安装它，请使用以下命令：
立即学习“Python免费学习笔记（深入）”；
<code>pip3 install beautifulsoup4</code>
2. 载入 HTML
使用 requests 库获取 HTML 文档：
<code class="python">import requests
html = requests.get("http://example.com").text</code>3. 解析 HTML
使用 BeautifulSoup 解析 HTML 文档：
<code class="python">from bs4 import BeautifulSoup soup = BeautifulSoup(html, "html.parser")</code>
4. 查找和提取数据
使用 BeautifulSoup 查找和提取所需的 HTML 元素。例如，要查找所有带有特定类名的元素：
<code class="python">elements = soup.find_all("div", class_="myclass")</code>5. 格式化结果
将提取的数据格式化为适合载入文档的格式。例如，以 JSON 或 CSV 格式：
<code class="python">import json data = json.dumps(elements)</code>
6. 写入文档
使用 Python 的内置函数将格式化的结果写入文档：
<code class="python">with open("output.json", "w") as f:
f.write(data)</code>示例：
以下示例演示如何从 HTML 文档中提取标题并将其写入 JSON 文件：
<code class="python">import requests
from bs4 import BeautifulSoup
import json
html = requests.get("http://example.com").text
soup = BeautifulSoup(html, "html.parser")
titles = [title.text for title in soup.find_all("h1")]
data = json.dumps(titles)
with open("output.json", "w") as f:
f.write(data)</code> 
