python中实现日志记录主要依赖于logging模块。1. 首先导入logging模块并配置日志级别、格式和输出位置；2. 使用rotatingfilehandler按大小分割日志文件，设置最大文件大小和保留旧文件数量；3. 通过timedrotatingfilehandler按时间分割日志文件，可设定时间间隔和保留周期；4. 在多线程/多进程环境下，使用queuehandler和queuelistener避免竞争条件；5. 可通过yaml或json文件配置日志，提高灵活性和可维护性；自定义日志格式则通过formatter类实现，支持多种占位符，并可根据需要扩展实现更复杂逻辑。
Python中实现日志记录主要依赖于logging模块，它可以灵活地配置日志级别、输出位置和格式。日志文件按大小分割通常使用RotatingFileHandler或TimedRotatingFileHandler。
解决方案：
Python的logging模块提供了强大的日志记录功能。首先，你需要导入logging模块，然后配置日志的基本设置，例如日志级别、日志格式和输出位置。对于日志文件按大小分割，RotatingFileHandler是一个不错的选择。它允许你设置日志文件的最大大小和保留的旧日志文件数量。
立即学习“Python免费学习笔记（深入）”；
import logging
from logging.handlers import RotatingFileHandler
# 配置日志记录器
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
# 创建一个RotatingFileHandler
handler = RotatingFileHandler('my_log.log', maxBytes=1024*1024, backupCount=5) # 每个日志文件最大1MB，保留5个旧日志文件
handler.setLevel(logging.INFO)
# 创建一个格式化器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# 将handler添加到logger
logger.addHandler(handler)
# 记录一些日志
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')这段代码创建了一个名为my_log.log的日志文件，当它达到1MB时，会自动创建一个新的日志文件，并保留最多5个旧日志文件。
如何自定义Python日志的格式？
自定义日志格式是通过logging.Formatter实现的。你可以使用各种占位符来定义日志消息的结构。例如，%(asctime)s表示日志记录的时间，%(name)s表示记录器的名称，%(levelname)s表示日志级别，%(message)s表示实际的日志消息。
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(module)s:%(lineno)d - %(message)s')在这个例子中，我们添加了%(module)s（模块名）和%(lineno)d（行号）到日志格式中。这在调试时非常有用，可以快速定位到产生日志的代码位置。有时候，日志格式过于冗长反而不利于阅读，需要根据实际情况调整。
除了字符串格式化，还可以自定义Formatter类，实现更复杂的逻辑，例如根据日志级别改变颜色。这需要继承logging.Formatter类，并重写format方法。
如何根据时间分割Python日志文件？
除了按大小分割日志文件，按时间分割也是一个常见的需求。TimedRotatingFileHandler可以满足这个需求。它可以根据指定的时间间隔（例如每天、每周）自动创建新的日志文件。
import logging
from logging.handlers import TimedRotatingFileHandler
import datetime
# 创建一个TimedRotatingFileHandler
handler = TimedRotatingFileHandler('my_log.log', when="midnight", interval=1, backupCount=7) # 每天凌晨创建一个新的日志文件，保留7天的日志
handler.suffix = "%Y%m%d" # 日志文件名的后缀
handler.extMatch = re.compile(r"^\d{8}$")
# 创建一个格式化器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# 将handler添加到logger
logger.addHandler(handler)
# 记录一些日志
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')在这个例子中，when="midnight"表示每天凌晨创建一个新的日志文件，interval=1表示间隔为1天，backupCount=7表示保留7天的日志。handler.suffix = "%Y%m%d"定义了日志文件名的后缀格式，例如my_log.log.20231027。需要注意的是，如果没有设置handler.extMatch，旧的日志文件可能不会被正确删除。
如何处理多线程/多进程环境下的Python日志记录？
在多线程或多进程环境下，日志记录可能会出现竞争条件，导致日志消息丢失或损坏。为了解决这个问题，可以使用QueueHandler和QueueListener。QueueHandler将日志消息放入一个队列中，QueueListener从队列中取出消息并将其写入日志文件。
import logging
import logging.handlers
import multiprocessing
import queue
# 创建一个队列
log_queue = queue.Queue(-1)
# 配置日志记录器
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
# 创建一个QueueHandler
queue_handler = logging.handlers.QueueHandler(log_queue)
logger.addHandler(queue_handler)
# 定义一个日志监听器
def worker_process(log_queue):
listener = logging.handlers.QueueListener(log_queue, logging.FileHandler('my_log.log'))
listener.start()
listener.stop()
# 创建一个进程
process = multiprocessing.Process(target=worker_process, args=(log_queue,))
process.start()
# 记录一些日志
logger.info('This is an info message from main process')
# 在子进程中记录日志
def log_from_child():
logger = logging.getLogger(__name__)
logger.info('This is an info message from child process')
child_process = multiprocessing.Process(target=log_from_child)
child_process.start()
child_process.join()
process.join()这个例子创建了一个队列，并将日志消息放入队列中。然后，创建了一个进程来监听队列，并将消息写入日志文件。这样可以避免多线程/多进程环境下的竞争条件。需要注意的是，QueueListener需要在主进程退出前停止，否则可能会导致程序阻塞。
如何使用YAML或JSON文件配置Python日志？
logging.config模块允许你使用YAML或JSON文件来配置日志记录器。这使得配置更加灵活和可维护。
import logging.config
import yaml
# 从YAML文件加载配置
with open('logging.yaml', 'r') as f:
config = yaml.safe_load(f)
logging.config.dictConfig(config)
# 获取日志记录器
logger = logging.getLogger(__name__)
# 记录一些日志
logger.info('This is an info message')logging.yaml文件的内容如下：
version: 1
formatters:
simple:
format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
console:
class: logging.StreamHandler
level: DEBUG
formatter: simple
stream: ext://sys.stdout
file:
class: logging.handlers.RotatingFileHandler
level: INFO
formatter: simple
filename: my_log.log
maxBytes: 10485760 # 10MB
backupCount: 5
root:
level: INFO
handlers: [console, file]
disable_existing_loggers: False这种方式使得日志配置更加清晰，方便修改和维护。你可以根据需要调整YAML文件中的参数，例如日志级别、格式和输出位置，而无需修改代码。
