合理设置爬取延时可有效避免IP被封，通过time.sleep()实现固定或随机延时，结合User-Agent、Session及Scrapy的自动限速配置，模拟人类行为降低反爬风险。
在使用Python编写爬虫时，频繁请求目标网站容易触发反爬机制，导致IP被封禁。为了避免这种情况，合理设置爬取延时、控制访问频率是关键措施之一。通过引入时间间隔，让爬虫行为更接近人类操作，能有效降低被识别为自动化程序的风险。
使用time.sleep()进行基础延时
最简单直接的延时方式是使用Python内置的time.sleep()函数，在每次请求之间暂停一段时间。
示例：
import requests
import time
<p>urls = ['<a href="https://www.php.cn/link/a306a13c6c1ee387390fdc96c7bdca66">https://www.php.cn/link/a306a13c6c1ee387390fdc96c7bdca66</a>', '<a href="https://www.php.cn/link/922a7fd3b1c537453af87329140dcfb2">https://www.php.cn/link/922a7fd3b1c537453af87329140dcfb2</a>']
for url in urls:
response = requests.get(url)</p><h1>处理响应</h1><pre class='brush:python;toolbar:false;'>print(f"已抓取: {url}")
time.sleep(2) # 每次请求后等待2秒这种固定延时适用于大多数普通场景，一般建议设置在1~3秒之间，避免对服务器造成压力。
立即学习“Python免费学习笔记（深入）”；
使用随机延时模拟人类行为
固定间隔仍可能被识别为机器行为。采用随机延时能更真实地模拟用户浏览习惯。
结合random模块实现动态等待：
import time
import random
<h1>随机等待1到3秒</h1><p>time.sleep(random.uniform(1, 3))</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/1763" title="Khroma"><img
src="https://img.php.cn/upload/ai_manual/000/969/633/68b6ceddca9b1981.png" alt="Khroma" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/1763" title="Khroma">Khroma</a>
<p>AI调色盘生成工具</p>
</div>
<a href="/ai/1763" title="Khroma" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>也可使用randint或triangular等方法调整分布，使间隔更具自然波动。
结合请求框架的高级控制（如Scrapy）
若使用Scrapy框架，可通过配置项自动管理下载延迟：
在settings.py中添加：
# 开启自动限速 AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 1 AUTOTHROTTLE_MAX_DELAY = 5 AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0 <h1>或手动设置固定延迟</h1><p>DOWNLOAD_DELAY = 2 RANDOMIZE_DOWNLOAD_DELAY = True CONCURRENT_REQUESTS_PER_DOMAIN = 2</p>
这些设置能让Scrapy根据服务器响应自动调节请求频率，更加智能和安全。
使用Session与请求头配合延时策略
除了时间控制，搭配合理的请求头和会话管理也能提升稳定性：
- 设置User-Agent模拟浏览器访问
- 使用Session保持连接复用，减少开销
- 结合延时策略，整体请求更接近正常用户行为
示例：
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0 ...'})
<p>for url in urls:
response = session.get(url)
time.sleep(random.uniform(1.5, 3.5))</p>基本上就这些。合理设置延时不只是加个sleep，而是结合随机性、请求头、并发控制等多方面协调。既能保护目标服务器，也能提高爬虫的长期可用性。不复杂但容易忽略细节。
