在 python 爬虫中爬取同一级参数的方法是使用查询字符串，其步骤如下：识别参数并构造 url发送 get 请求解析响应提取查询字符串参数
同一级参数爬取
在 Python 爬虫中，爬取同一级参数的方法是使用查询字符串。查询字符串是附加到 URL 末尾的键值对，用于将数据传递给服务器。
步骤：
- 识别参数：确定要爬取的同一级参数。它们通常以问号 (?) 开头，后跟键值对。
- 构造 URL：使用查询字符串构造要请求的 URL。格式如下：
<code class="python">url = "https://example.com?parameter1=value1¶meter2=value2"</code>
-
发送请求：使用
requests库发送 GET 请求，如下所示：
<code class="python">import requests response = requests.get(url)</code>
-
解析响应：提取响应中的查询字符串参数。可以使用
urlparse模块的parse_qs函数，如下所示：
<code class="python">from urllib.parse import parse_qs params = parse_qs(response.url)</code>
现在，params 将是一个字典，其中键是参数名称，值是相应的值。
立即学习“Python免费学习笔记（深入）”；
示例：
假设我们要从以下 URL 中爬取 page 和 sort 参数：
<code>https://example.com?page=2&sort=asc</code>
我们可以使用以下代码：
<code class="python">import requests from urllib.parse import parse_qs url = "https://example.com?page=2&sort=asc" response = requests.get(url) params = parse_qs(response.url) print(params["page"]) # ['2'] print(params["sort"]) # ['asc']</code>
输出结果：
<code>['2'] ['asc']</code>
