优化 Python SysLogHandler：实现日志发送超时控制

问题分析：默认行为的局限性

在python的日志模块中，sysloghandler是用于将日志发送到远程syslog服务器的重要组件。当配置为使用tcp协议（即socktype=socket.sock_stream）时，sysloghandler会建立一个持久的tcp连接来发送日志。然而，在默认实现中，如果远程syslog服务器因网络故障、服务宕机或防火墙问题而无法响应，sysloghandler尝试发送日志的操作可能会无限期地等待，导致应用程序阻塞，甚至影响整个系统的稳定性。尤其是在python 2.7等较旧版本中，sysloghandler的构造函数并未提供直接设置socket连接超时的参数，这使得问题更加突出。

解决方案：自定义 SysLogHandler 实现超时控制

解决SysLogHandler阻塞问题的核心在于为其底层的socket连接设置一个合理的超时时间。由于SysLogHandler没有直接暴露设置超时的方法，我们需要通过继承SysLogHandler并重写其内部的createSocket方法来实现。

createSocket方法是SysLogHandler内部用于创建并返回用于日志传输的socket对象的关键方法。通过重写此方法，我们可以在socket创建完成后，但在其被用于连接或发送数据之前，为其配置超时参数。

实现步骤与示例代码

1. 定义自定义处理器类： 创建一个新的类，例如SysLogHandlerWithTimeout，继承自logging.handlers.SysLogHandler。

2. 重写 createSocket 方法： 在该方法中，首先调用父类的createSocket方法来执行默认的socket创建逻辑。然后，通过访问self.socket获取到已创建的socket对象，并使用self.socket.settimeout()方法设置连接和发送操作的超时时间。

以下是实现这一机制的示例代码：

import logging
import logging.handlers
import socket
import sys
import time

# 假设 SyslogServer 和 SyslogPort 是全局变量或配置项
SyslogServer = '127.0.0.1' # 替换为你的Syslog服务器地址
SyslogPort = 514           # 替换为你的Syslog服务器端口

# 定义一个字典来存储logger实例，避免重复创建
loggers = {}

class SysLogHandlerWithTimeout(logging.handlers.SysLogHandler):
    """
    自定义SysLogHandler，用于在socket连接上设置超时。
    """
    def __init__(self, address, socktype=socket.SOCK_DGRAM, timeout=10):
        super(SysLogHandlerWithTimeout, self).__init__(address, socktype)
        self.timeout = timeout

    def createSocket(self):
        """
        重写createSocket方法，在创建socket后设置超时。
        """
        # 调用父类的createSocket方法，创建socket
        super(SysLogHandlerWithTimeout, self).createSocket()
        # 设置socket的超时时间
        if self.socket:
            self.socket.settimeout(self.timeout)
            # print("Socket timeout set to: %s seconds" % self.timeout) # 调试信息

def writeSyslog (mtype, msg):
    """
    发送消息/日志到Syslog服务器
    """
    try:
        global loggers
        logger_name = 'SplunkLogger' # 统一使用一个logger名称

        if logger_name in loggers:
            splunk_logger = loggers.get(logger_name)
        else:
            # 使用我们自定义的带有超时功能的SysLogHandler
            # 注意：这里socktype=socket.SOCK_STREAM是为了TCP连接，与原问题一致
            handler = SysLogHandlerWithTimeout(
                address=(SyslogServer, SyslogPort),
                socktype=socket.SOCK_STREAM,
                timeout=5 # 设置5秒的超时时间
            )
            formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
            handler.setFormatter(formatter)

            splunk_logger = logging.getLogger(logger_name)
            # 确保logger只添加一次handler，避免重复日志
            if not splunk_logger.handlers:
                splunk_logger.addHandler(handler)
            splunk_logger.setLevel(logging.DEBUG) # 设置日志级别
            loggers[logger_name] = splunk_logger

        # 根据mtype发送不同级别的日志
        if "emerg" in mtype:
            splunk_logger.emergency(msg)
        elif "alert" in mtype:
            splunk_logger.alert(msg)
        elif "crit" in mtype:
            splunk_logger.critical(msg)
        elif "err" in mtype:
            splunk_logger.error(msg)
        elif "warn" in mtype:
            splunk_logger.warning(msg)
        elif "notice" in mtype:
            splunk_logger.notice(msg)
        elif "info" in mtype:
            splunk_logger.info(msg)
        else:
            splunk_logger.debug(msg)

    except socket.timeout:
        sys.stdout.write("\t\tSyslog failed due to timeout when sending to %s:%d\n" % (SyslogServer, SyslogPort))
    except socket.error as e:
        sys.stdout.write("\t\tSyslog failed sending to %s:%d - Socket Error: %s\n" % (SyslogServer, SyslogPort, e))
    except Exception as e:
        sys.stdout.write("\t\tSyslog failed sending to %s:%d - General Error: %s\n" % (SyslogServer, SyslogPort, e))

# 示例调用
if __name__ == "__main__":
    print("尝试发送日志到Syslog服务器...")
    # 模拟Syslog服务器不可用（例如，不启动一个服务器监听该端口）
    # 或者启动一个简单的服务器来观察正常情况

    # 正常发送日志
    writeSyslog("info", "这是一条信息日志。")
    time.sleep(1)
    writeSyslog("warn", "这是一条警告日志。")
    time.sleep(1)

    # 模拟服务器无响应（如果服务器不存在或关闭，则会触发超时）
    # 请确保 SyslogServer 和 SyslogPort 指向一个不会响应的地址或端口来测试超时
    print("\n模拟服务器无响应，等待超时...")
    SyslogServer = '127.0.0.1' # 假设这个地址没有Syslog服务器监听
    SyslogPort = 5145 # 假设这个端口没有Syslog服务器监听
    # 需要清除旧的logger handler，以便重新创建带有新地址的handler
    if 'SplunkLogger' in loggers:
        for handler in loggers['SplunkLogger'].handlers[:]:
            loggers['SplunkLogger'].removeHandler(handler)
        del loggers['SplunkLogger']

    start_time = time.time()
    writeSyslog("err", "这是一条错误日志，预期会超时。")
    end_time = time.time()
    print("日志发送尝试结束，耗时：%.2f 秒" % (end_time - start_time))

    # 恢复到可能的正常地址（如果需要）
    SyslogServer = '127.0.0.1'
    SyslogPort = 514
    if 'SplunkLogger' in loggers:
        for handler in loggers['SplunkLogger'].handlers[:]:
            loggers['SplunkLogger'].removeHandler(handler)
        del loggers['SplunkLogger']
    writeSyslog("info", "这是超时后的又一条信息日志。")

注意事项

1. 超时值的选择：timeout参数的设置至关重要。一个过短的超时时间可能导致在网络暂时拥堵时误判服务器无响应；而一个过长的超时时间则会削弱超时机制的意义。通常，5到15秒是一个合理的初始范围，具体值应根据网络环境、服务器响应速度以及业务对日志实时性的要求进行调整。

   

   Tome

   先进的AI智能PPT制作工具

   下载

   立即学习“Python免费学习笔记（深入）”；

2. 异常处理： 在writeSyslog函数中，我们已经添加了try...except块来捕获可能发生的异常。特别地，当socket操作超时时，会抛出socket.timeout异常。捕获此异常可以使程序在检测到超时后优雅地处理，例如记录错误信息、切换到本地日志文件或尝试重新连接。除了socket.timeout，还应考虑捕获更通用的socket.error或其他Exception，以增强程序的健壮性。

3. socktype 参数： 本教程的解决方案主要针对使用TCP协议（socktype=socket.SOCK_STREAM）的SysLogHandler。对于UDP协议（socktype=socket.SOCK_DGRAM），由于UDP是无连接的，发送操作通常不会阻塞，但无法保证消息的送达。因此，UDP通常不需要设置超时来避免阻塞。

4. Python 版本兼容性： 上述代码示例在Python 2.7和Python 3.x中均适用。super()函数的用法在Python 2.x中需要显式传入类名和实例，如super(SysLogHandlerWithTimeout, self).__init__(...)，而在Python 3.x中可以直接使用super().__init__(...)。示例中使用了兼容Python 2.7的写法。

5. 日志处理器的生命周期： 在实际应用中，logging.getLogger()返回的logger实例通常是单例的。确保SysLogHandler只被添加到logger一次。重复添加会导致日志消息被多次发送。在示例代码中，我们通过if not splunk_logger.handlers:进行了检查，以避免重复添加。

总结

通过继承logging.handlers.SysLogHandler并重写createSocket方法，我们可以有效地为Python应用程序发送到远程Syslog服务器的日志操作添加超时机制。这不仅解决了在服务器无响应时程序无限期阻塞的问题，还通过更精细的异常处理提高了日志系统的鲁棒性。合理配置超时时间并结合健壮的错误处理，是构建可靠日志基础设施的关键一步。