花瓣网图片爬取及分页策略详解
本文介绍如何高效爬取花瓣网图片，并重点讲解如何获取后续页面数据，实现完整图片下载。
高效爬取的关键：获取最大值 (max)
花瓣网的API分页机制依赖于max参数，它代表了当前页面最后一个pin的ID。 要实现完整爬取，我们需要在每次爬取页面后，提取该页面的最后一个pin ID，并将其作为下一个页面的max参数，以此循环获取所有数据。
代码改进与详解
以下代码实现了这一策略：
import re
import time
import json
import requests
import os
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
directory = input('请输入要创建的文件夹名称：\n')
fileName = 'huabanimg/' + directory + '/'
if not os.path.exists(fileName):
os.makedirs(fileName)
board_id = int(input('请输入需要抓取的花瓣board ID：\n'))
url = f'https://api.huaban.com/boards/{board_id}/pins?limit=20'
max_id = None
while True:
response = requests.get(url, headers=headers)
text = response.text
# 使用正则表达式提取pin key，更稳健
pin_keys = re.findall(r'"key":"([^"]+)"', text)
if not pin_keys: # 检查是否获取到数据
print("未获取到图片数据，可能已到达最后一页或出现错误。")
break
last_pin_id = pin_keys[-1]
for i, key in enumerate(pin_keys):
img_url = f'https://hbimg.huabanimg.com/{key}_fw658'
img_name = key[:10]
print(f'正在下载第 {i+1} 张图片...')
try:
img_data = requests.get(img_url, headers=headers, stream=True)
img_data.raise_for_status() # 检查HTTP状态码，抛出异常处理错误
with open(fileName + img_name + '.jpeg', 'wb') as f:
for chunk in img_data.iter_content(chunk_size=8192):
f.write(chunk)
except requests.exceptions.RequestException as e:
print(f"下载图片 {img_url} 失败: {e}")
continue # 跳过失败的图片
time.sleep(2) # 添加延时，避免请求过快
max_id = last_pin_id
url = f'https://api.huaban.com/boards/{board_id}/pins?max={max_id}&limit=20'
if max_id == '0' or len(pin_keys) < 20: # 更可靠的结束条件
break
print("图片下载完成！")
代码改进说明:
-
更健壮的正则表达式: 使用更精确的正则表达式
r'"key":"([^"]+)"'提取key值，避免因HTML结构变化导致的错误。 -
错误处理: 添加
try...except块处理requests异常，防止因网络问题或其他原因导致程序崩溃。 -
流式下载: 使用
img_data.iter_content()进行流式下载，减少内存占用，尤其在下载大图片时非常有效。 -
更可靠的结束条件: 判断
len(pin_keys) 确保当页面图片数量少于limit值时也停止爬取，避免无限循环。 - 清晰的提示信息: 添加更清晰的提示信息，方便用户理解程序运行状态。
-
变量命名: 使用更具描述性的变量名，例如
board_id代替num。
此改进后的代码更加稳健、高效，并具有更好的错误处理能力，能够更可靠地完成花瓣网图片的爬取任务。 请记住遵守花瓣网的 robots.txt 规则，并避免过度频繁的请求。
