Python屏蔽输出信息怎样在使用爬虫时隐藏请求日志 Python屏蔽输出信息的爬虫日志管控教程

星夢妙者

发布时间：2025-08-11 16:13:02

368人浏览过

来源于php中文网

原创

要隐藏python爬虫中requests库的请求日志，核心是将urllib3日志器级别设为warning或更高；2. 通过logging.getlogger('urllib3').setlevel(logging.warning)可屏蔽debug和info级别的冗余日志；3. 同时应配置根日志器如logging.basicconfig(level=logging.info)以确保自定义日志正常输出；4. 在生产环境中需构建分级分类的日志体系，包括业务、错误、调试和性能日志，并输出到文件或集中式日志系统；5. 推荐使用结构化日志格式并结合异常处理机制，提升爬虫的可观测性与可维护性。

Python屏蔽输出信息怎样在使用爬虫时隐藏请求日志 Python屏蔽输出信息的爬虫日志管控教程

在Python爬虫开发中，要隐藏请求日志，核心在于对标准库

logging

模块的精细配置。我们通常会针对

requests

库（及其底层依赖

urllib3

）所使用的日志器，将其日志级别调高，从而过滤掉那些默认输出到控制台的HTTP请求或连接信息。这能让你的终端输出变得清爽，只显示你真正关心的信息。

解决方案

要让

requests

库在执行HTTP请求时不再打印详细的请求日志，最直接且推荐的做法是调整其底层依赖

urllib3

的日志级别。

requests

库本身并不会直接打印请求细节，而是依赖

urllib3

来处理连接和重试等，这些过程可能会产生大量日志。

import logging
import requests

# 屏蔽 requests 库的详细日志
# requests 内部使用了 urllib3，所以通常需要配置 urllib3 的日志
logging.getLogger('urllib3').setLevel(logging.WARNING)
# 如果还想更彻底，可以设置为 ERROR 或 CRITICAL
# logging.getLogger('urllib3').setLevel(logging.ERROR)

# 某些情况下，requests 自身也可能有一些日志，虽然不常见，也可以一并处理
logging.getLogger('requests').setLevel(logging.WARNING)

# 确保你的根日志器（或者你自己的日志器）设置得当，
# 否则即使子日志器级别很高，如果父日志器级别过低，也可能导致日志输出
# 这是一个常见的误区，新手容易忽略
# 假设你想看到自己代码的 INFO 级别日志，但隐藏 urllib3 的
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# 现在执行一个请求，你会发现请求相关的详细日志消失了
try:
    response = requests.get('http://httpbin.org/get', timeout=5)
    response.raise_for_status() # 检查HTTP状态码
    print(f"请求成功，状态码：{response.status_code}")
    # print(response.text) # 可以打印响应内容
except requests.exceptions.RequestException as e:
    logging.error(f"请求失败: {e}")

# 你自己的日志仍然可以正常工作
logging.info("这是一个我们自己的信息日志，仍然会显示。")

为什么我们要费心去“隐藏”那些爬虫日志？

说实话，刚开始写爬虫的时候，我巴不得把所有请求细节都打印出来，那样感觉对程序运行了如指掌。但当爬虫规模稍微大一点，或者需要处理大量并发请求时，你会发现那些密密麻麻的HTTP请求日志简直是灾难。屏幕上滚动的信息量太大，根本无法有效捕捉到真正有用的信息，比如程序卡在哪了，哪个请求失败了，或者数据解析出了什么问题。

立即学习“Python免费学习笔记（深入）”；

想象一下，你调试一个几百个并发的爬虫，每个请求都打出“Starting new HTTPS connection...”或者“GET /some/path HTTP/1.1”这样的日志，那输出简直是“信息噪音”，瞬间就把你淹没了。在这种情况下，隐藏这些冗余的请求日志，就显得尤为重要。它能让你的控制台输出聚焦于业务逻辑、错误报告和关键状态更新，大幅提升调试效率和用户体验。在生产环境中，我们更是希望日志能被结构化地记录到文件或日志服务中，而不是随意地输出到标准输出，那样既不利于监控，也容易暴露不必要的细节。所以，这不仅仅是“隐藏”，更是“精简”和“聚焦”的过程。

具体操作：如何让Requests和Urllib3“安静”下来？

要让

requests

和它背后的

urllib3

安静下来，核心是利用Python标准库

logging

的层级结构和日志级别。

requests

库本身并没有一个独立的日志器来打印请求详情，它实际上是依赖于

urllib3

来处理底层的HTTP连接。因此，我们需要找到

urllib3

的日志器并调整其级别。

通常，

urllib3

的日志器名为

'urllib3'

。我们可以通过

logging.getLogger('urllib3')

来获取它。获取到日志器对象后，就可以使用

setLevel()

方法来设置其最低输出级别。常见的日志级别从低到高依次是：

DEBUG

INFO

WARNING

ERROR

CRITICAL

。

logging.WARNING
: 这是最常用的设置。它会屏蔽掉
```
DEBUG
```
和
```
INFO
```
级别的日志（包括请求开始、连接建立等），但仍然会显示
```
WARNING
```
、
```
ERROR
```
和
```
CRITICAL
```
级别的日志。这意味着如果
```
urllib3
```
在处理请求时遇到警告或错误（例如SSL证书问题、连接超时等），你仍然可以看到这些重要的提示。
logging.ERROR
: 如果你希望更彻底地屏蔽，只关心致命错误，可以将级别设置为
```
ERROR
```
。这会隐藏所有
```
WARNING
```
以下的日志。

以下是一个更具体的代码示例，展示了如何操作：

Getimg.ai

getimg.ai是一套神奇的ai工具。生成大规模的原始图像

下载

import logging
import requests

# 1. 获取 urllib3 的日志器
urllib3_logger = logging.getLogger('urllib3')
# 2. 将其日志级别设置为 WARNING，忽略 INFO 和 DEBUG 级别的请求详情
urllib3_logger.setLevel(logging.WARNING)

# 3. 如果你还使用了 requests 的适配器（比如 HTTPAdapter），
# 它们也可能产生日志，虽然不常见，但可以一并设置
requests_logger = logging.getLogger('requests')
requests_logger.setLevel(logging.WARNING)

# 4. 配置你自己的根日志器（或者你自己的特定日志器）
# 这确保了你自己的 print 或 logging.info() 等操作仍然可以正常输出
# 同时不会被 urllib3 的日志淹没
# 这里设置 INFO 级别，意味着你代码中的 info、warning、error 都会显示
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

print("尝试发起一个HTTP请求...")
try:
    # 尝试访问一个网站，这里以百度为例
    response = requests.get('https://www.baidu.com', timeout=10)
    response.raise_for_status() # 如果状态码不是200，则抛出异常
    logging.info(f"成功访问百度，状态码：{response.status_code}")
except requests.exceptions.Timeout:
    logging.error("请求超时！")
except requests.exceptions.RequestException as e:
    logging.error(f"请求发生错误: {e}")

logging.info("爬虫任务的其他部分正在进行...")
# 你会发现，在执行 requests.get() 时，控制台不会再出现 urllib3 的那些冗余日志了。

通过这种方式，我们不仅让

requests

和

urllib3

“安静”下来，还保留了在发生实际问题（如连接错误、超时）时，它们仍然能通过

WARNING

或

ERROR

级别输出关键信息的能力，这对于问题诊断至关重要。

不止是隐藏：构建一个更健壮的爬虫日志体系

仅仅“隐藏”日志，在我看来，只是日志管理的第一步。真正的挑战和价值在于，如何在隐藏了那些噪音之后，构建一个既能提供足够信息量，又不会过度干扰的日志体系。这不仅仅是技术问题，更是一种工程哲学。

当你的爬虫从本地调试走向生产环境，或者规模变得庞大时，你需要的是一个能够清晰反映程序运行状态、快速定位问题的日志系统，而不是简单的控制台输出。

分级与分类：
- 业务日志： 记录爬取了哪些URL、解析了多少数据、存储成功了多少条。这些是爬虫的核心产出，通常是
```
INFO
```
  级别。
- 错误日志： 任何请求失败、解析异常、存储失败等，都应该记录为
```
ERROR
```
  或
```
CRITICAL
```
  。这部分日志需要被重点关注，甚至触发告警。
- 调试日志： 仅在开发或特定问题排查时开启，记录最详细的请求、响应头、甚至部分响应体。生产环境通常关闭。
- 性能日志： 记录每个请求的耗时、处理速度等，用于性能分析和瓶颈定位。
日志输出目标：
- 文件日志： 将所有日志写入文件是基本要求。你可以按日期、按大小分割日志文件（日志轮转），防止单个文件过大。Python的
```
logging.handlers.RotatingFileHandler
```
  和
```
TimedRotatingFileHandler
```
  非常实用。
- 控制台（仅限关键信息）： 在生产环境，控制台通常只输出
```
WARNING
```
  及以上级别的日志，或者只输出一些核心的“心跳”信息，表明程序还在运行。
- 远程日志服务： 对于大型爬虫集群，将日志发送到Elasticsearch、Splunk、Loki等集中式日志系统，配合Kibana、Grafana等工具进行可视化、搜索和分析，这是现代日志管理的标配。也可以考虑Sentry、Loguru等，它们提供了更便捷的错误追踪和日志收集功能。
结构化日志：
- 传统的日志格式（如
```
2023-10-27 10:30:00 - INFO - Message
```
  ）虽然可读，但机器解析起来比较困难。
- 推荐使用JSON格式的结构化日志。每个日志条目都是一个JSON对象，包含时间戳、日志级别、消息、模块名，以及任何你希望添加的自定义字段（如
```
url
```
  、
```
status_code
```
  、
```
error_type
```
  等）。这样，在日志系统中进行过滤、聚合和分析就变得异常高效。你可以使用
```
python-json-logger
```
  或者直接在
```
logging.Formatter
```
  中构建JSON。
异常处理与日志结合：
- 确保你的爬虫代码中，所有可能导致程序崩溃或数据丢失的异常都被捕获，并以适当的日志级别记录下来。
- 使用
```
logging.exception()
```
  或
```
logging.error(exc_info=True)
```
  可以自动记录完整的堆栈信息，这对于问题排查至关重要。