indiegogo产品url爬取失败：完善数据处理与反爬策略
本文分析并解决从Indiegogo网站爬取产品URL失败的问题。目标是从名为1.csv的CSV文件中提取clickthrough_url列数据，构造完整的Indiegogo产品URL，并进行网页抓取。然而，原始代码存在缺陷，导致URL提取失败。
问题根源及解决方案：
原始的extract_project_url函数存在数据类型处理错误：
def extract_project_url(df_input):
list_url = []
for ele in df_input["clickthrough_url"]:
list_url.append("https://www.indiegogo.com" + ele)
return list_url
该函数假设clickthrough_url列中的所有数据都是字符串。如果存在非字符串类型数据（例如数字、空值），则会引发TypeError错误。
改进后的函数应包含错误处理机制，例如使用try-except块或astype(str)强制类型转换：
def extract_project_url(df_input):
list_url = []
for ele in df_input["clickthrough_url"]:
try:
list_url.append("https://www.indiegogo.com" + str(ele))
except TypeError as e:
print(f"Warning: Skipping invalid element: {ele}, Error: {e}")
continue #跳过无效元素
return list_url
或者使用更简洁的pandas方法：
def extract_project_url(df_input):
return "https://www.indiegogo.com" + df_input["clickthrough_url"].astype(str)
反爬机制与Cookie处理:
Indiegogo网站可能启用反爬机制，例如限制请求频率或检查用户代理。 解决方法包括：
-
设置合理的请求延迟: 使用
time.sleep()函数在每次请求之间添加延迟，避免短时间内发送大量请求。 - 伪装用户代理: 使用不同的用户代理，模拟真实用户的行为。 这可以通过修改requests库的headers实现。
-
Cookie处理: 如果Indiegogo需要Cookie才能访问产品页面，则需要在请求中包含相应的Cookie信息。这可以通过使用
requests库的cookies参数或session对象来实现。 需要获取有效的Cookie，这可能需要登录网站或分析网站的请求。
完整的代码示例 (需要安装pandas和requests库):
import pandas as pd
import requests
import time
import random
def extract_project_url(df_input):
return "https://www.indiegogo.com" + df_input["clickthrough_url"].astype(str)
def fetch_page(url, headers):
time.sleep(random.uniform(1, 3)) #添加随机延迟
try:
response = requests.get(url, headers=headers)
response.raise_for_status() #检查HTTP状态码
return response.text
except requests.exceptions.RequestException as e:
print(f"Error fetching {url}: {e}")
return None
# 读取CSV文件
df = pd.read_csv("1.csv")
# 提取URL
urls = extract_project_url(df)
# 设置headers (包括用户代理)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
# 抓取页面内容
for url in urls:
page_content = fetch_page(url, headers)
if page_content:
# 处理页面内容 (根据需要修改)
print(f"Successfully fetched: {url}")
# ... your code to process page_content ...
记住替换 "1.csv" 为你的CSV文件路径，并根据Indiegogo网站的反爬机制调整代码，例如添加Cookie处理和更精细的延迟策略。 如果问题仍然存在，请提供更多信息，例如错误信息和1.csv文件的示例数据。
