Python 爬虫中，list 常用于存储从网页提取的数据、URL 列表，以及辅助数据过滤、处理和爬虫状态信息。其用法包括：1. 存储提取的数据；2. 存储 URL 列表；3. 过滤和处理数据；4. 存储爬虫状态信息；5. 数据传递和共享。
Python 爬虫中 list 的用法
在 Python 爬虫中，list 是一种内置的数据结构，用于存储有序的元素集合。以下介绍了 list 在爬虫中的常见用法：
1. 存储从网页中提取的数据
爬虫通过访问网页并解析 HTML 代码来提取数据。提取的数据可以存储在 list 中，以便进行后续处理或存储。例如：
立即学习“Python免费学习笔记（深入）”；
<code class="python">import requests
from bs4 import BeautifulSoup
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 提取所有段落文本并存储在列表中
paragraphs = [paragraph.text for paragraph in soup.find_all("p")]</code>2. 存储 URL 列表
当爬取网站时，需要存储要爬取的每个 URL。list 可以用于存储这些 URL，以便按顺序进行爬取。例如：
<code class="python">urls = [
"https://example.com/page1",
"https://example.com/page2",
"https://example.com/page3"
]
# 逐个爬取 URL
for url in urls:
response = requests.get(url)
# ... 继续爬取和提取数据</code>3. 辅助数据过滤和处理
list 提供了各种方法来操作和过滤其元素。这对于清洁提取的数据很有用。例如：
<code class="python"># 过滤掉空字符串 non_empty_paragraphs = [paragraph for paragraph in paragraphs if paragraph] # 去除重复项 unique_urls = list(set(urls))</code>
4. 存储爬虫状态信息
list 可用于存储爬虫的状态信息，例如已爬取的 URL、待爬取的 URL 等。这有助于跟踪爬取进度并避免重复爬取。例如：
<code class="python"># 已爬取的 URL 列表 crawled_urls = [] # 待爬取的 URL 列表 pending_urls = ["https://example.com"] # 爬取一个 URL url = pending_urls.pop(0) response = requests.get(url) # ... 继续爬取和提取数据 crawled_urls.append(url)</code>
5. 数据传递和共享
list 可用于在不同的函数或模块之间传递和共享数据。例如：
<code class="python">def extract_data(url):
# ... 提取数据并返回列表
return data
def process_data(data):
# ... 处理数据
# 爬取 URL 并提取数据
data = extract_data("https://example.com")
# 处理提取的数据
process_data(data)</code> 
