PyQuery 网络爬虫：自定义 User-Agent 字符串以模拟浏览器行为

在使用 pyquery 进行网络爬取时，自定义 user-agent 字符串是模拟真实浏览器行为、避免被网站检测和屏蔽的关键步骤。本教程将详细介绍如何通过 pyquery 的 `headers` 参数设置 user-agent，并提供示例代码，帮助您在数据抓取过程中更有效地伪装请求来源，提升爬虫的稳定性和隐蔽性。

引言：理解 User-Agent 及其在网络爬虫中的重要性

在进行网络数据抓取时，我们常常需要模拟一个真实的浏览器来访问目标网站。这不仅仅是为了获取正确的页面内容，更重要的是为了规避网站的反爬机制。HTTP 请求头中的 User-Agent 字符串就是客户端（通常是浏览器）向服务器表明自身身份的关键信息。它告诉服务器请求来源于哪个操作系统、浏览器类型及版本等。

默认情况下，许多 HTTP 客户端库（包括 PyQuery 内部使用的请求库）会发送一个默认的 User-Agent，这通常暴露了其爬虫身份。网站服务器可以根据这个信息识别并拒绝来自非浏览器或已知爬虫的请求。因此，自定义 User-Agent 字符串成为网络爬虫中一项基础且重要的反反爬策略。

PyQuery 中设置 User-Agent 的方法

PyQuery 是一个基于 Python 的库，它允许我们使用类似 jQuery 的语法来操作 HTML/XML 文档。当 PyQuery 通过 URL 加载内容时，它实际上是在底层使用了 requests 库。要自定义请求头，包括 User-Agent，可以通过 PyQuery 构造函数的 headers 参数来实现。

headers 参数接受一个字典，其中键是 HTTP 头字段的名称，值是对应的字符串。对于 User-Agent，键名应为 "user-agent"。

Digram

让Figma更好用的AI神器

下载

代码示例：自定义 User-Agent

下面是一个详细的代码示例，展示了如何在 PyQuery 中设置自定义的 User-Agent 字符串，并获取页面的 HTML 和纯文本内容：

import pyquery

def fetch_page_with_custom_user_agent(url, user_agent_string):
    """
    使用自定义 User-Agent 从指定 URL 获取页面内容。

    参数:
    url (str): 目标网页的 URL。
    user_agent_string (str): 要设置的 User-Agent 字符串。

    返回:
    tuple: 包含 PyQuery 对象、HTML 内容和纯文本内容。
    """
    try:
        # 在 PyQuery 构造函数中通过 headers 参数设置 User-Agent
        pq_obj = pyquery.PyQuery(
            url=url,
            headers={"user-agent": user_agent_string}
        )
        html_content = pq_obj.html()
        plain_text_content = pq_obj.text()

        print(f"成功从 {url} 获取内容，使用的 User-Agent: {user_agent_string}")
        return pq_obj, html_content, plain_text_content
    except Exception as e:
        print(f"获取 {url} 失败: {e}")
        return None, None, None

# 示例用法
target_url = "https://www.cisco.com/" # 替换为你需要抓取的网站
custom_ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" # 一个真实的浏览器 User-Agent 示例

pq_doc, html, plain_text = fetch_page_with_custom_user_agent(target_url, custom_ua)

if pq_doc:
    print("\n--- 页面 HTML 内容片段 ---")
    print(html[:500]) # 打印前500个字符
    print("\n--- 页面纯文本内容片段 ---")
    print(plain_text[:500]) # 打印前500个字符

    # 进一步示例：解析页面中的所有链接 (href)
    print("\n--- 页面中的所有链接 ---")
    all_hrefs = []
    # 查找 body 标签下所有的  标签，并遍历
    for a_tag in pq_doc('body a').items():
        href = a_tag.attr('href')
        if href:
            all_hrefs.append(href)

    # 打印前10个链接
    for i, href in enumerate(all_hrefs[:10]):
        print(f"链接 {i+1}: {href}")
    if len(all_hrefs) > 10:
        print(f"... 还有 {len(all_hrefs) - 10} 个更多链接")

在上述代码中，我们定义了一个 fetch_page_with_custom_user_agent 函数，它封装了使用自定义 User-Agent 获取页面的逻辑。核心在于 pyquery.PyQuery(url=url, headers={"user-agent": user_agent_string}) 这一行，它将我们指定的 User-Agent 字符串作为请求头的一部分发送出去。