设置合适的 headers 在爬虫中至关重要，它包含有关请求的信息，包括用户代理、接受类型、语言首选项和编码方式。在 Python 中使用 requests 库设置 headers 的方法包括：设置单个 header、使用 headers 参数和使用会话对象。为了避免被网站识别为爬虫，可以自定义 headers，从浏览器扩展程序或网站获取真实浏览器的 headers 信息。常见的 headers 值包括：Mozilla/5.0 作为 User-Agent，text/html 作为 Accept，
Python爬虫headers的设置
在使用Python进行爬虫时，设置合适的headers至关重要。headers是一个携带有关请求信息的数据结构，包括：
- 用户代理（User-Agent）：指示爬虫所用浏览器的类型和版本。
- 接受类型（Accept）：指定能接收的内容类型，如HTML、文本或JSON。
- 语言首选项（Accept-Language）：表明客户端的首选语言。
- 编码方式（Accept-Encoding）：表示客户端能够处理的数据压缩算法，如gzip。
设置headers的方法
在Python中，使用requests库设置headers有以下几种方法：
1. 设置单个header：
import requests
# 创建一个请求对象
req = requests.get('https://example.com')
# 设置User-Agent
req.headers['User-Agent'] = 'Mozilla/5.0'2. 使用headers参数：
立即学习“Python免费学习笔记（深入）”；
req = requests.get('https://example.com', headers={'User-Agent': 'Mozilla/5.0'})3. 使用会话对象：
session = requests.Session()
session.headers['User-Agent'] = 'Mozilla/5.0'
req = session.get('https://example.com')自定义headers
为了避免被网站识别为爬虫，可以自定义headers。可以从真实浏览器的扩展程序或网站获取headers信息。
1. Chrome浏览器扩展程序：
- User-Agent Switcher：可更改用户代理。
- Request Header Editor：可编辑请求headers。
2. 网站：
- HTTP Header Check：https://httpheader.net/
- Get Headers：https://getheader.com/
常见headers
以下是设置Python爬虫headers时的一些常见值：
-
User-Agent：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 -
Accept：
text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 -
Accept-Language：
en-US,en;q=0.5 -
Accept-Encoding：
gzip, deflate
