本项目旨在构建一个集中式日志记录系统的概念验证 (POC)。由于项目限制，无法使用 Elasticsearch 或其他外部集中式日志收集工具，因此需要处理多种日志输出，例如控制台、文件和日志数据库。鉴于项目中存在多个运行进程，需要一种将所有日志写入文件或数据库的方法。
解决方案是创建一个集中式日志服务器，该服务器接收来自多个客户端的日志并进行处理。服务器是一个独立的进程，负责处理日志。代码已上传至 GitHub： https://www.php.cn/link/c6d18b0ed03091006bd1785ae97156e5
系统架构:
- 服务器: 持续运行，监听客户端的传入连接。解析接收到的数据，将其转换为日志记录，并通过相应的日志处理程序进行处理。
- 客户端: 使用套接字处理程序将日志记录发送到服务器。
-
处理程序: POC 使用 Python 的
StreamHandler、FileHandler（写入日志到文件）和自定义的SocketHandler（将日志发送到服务器）。
架构优势:
立即学习“Python免费学习笔记（深入）”；
- 可扩展性: 服务器可以处理来自多个进程或系统的日志，实现集中式日志收集。
- 灵活性: 可在服务器端添加自定义处理程序，例如将日志写入数据库、发送警报等。
- 解耦: 客户端进程只需发送日志，无需关注日志处理的细节。
日志记录机制:
日志服务器是一个标准的 TCP 服务器，监听来自客户端的传入连接。客户端使用 SocketHandler 发送日志数据，数据以二进制格式传输。前四个字节表示日志记录的长度，之后是序列化后的日志记录。
Python struct 模块中的 >l 格式:
Python 的 struct 模块中的 >l 格式是一种格式说明符，用于打包和解包二进制数据。它指定了字节序、数据类型和大小。
-
>: 指定大端字节序（最高有效字节优先）。 -
l: 指定一个无符号长整数（通常为 4 个字节）。
>l 的作用:
-
struct.pack('>l', value): 将 Python 整数转换为 4 字节的大端二进制表示。 -
struct.unpack('>l', packed): 将 4 字节的大端二进制数据转换为 Python 整数。
示例:
import struct
value = 1024
# 打包整数（大端，无符号长整数）
packed = struct.pack('>l', value)
print(f"packed: {packed}") # 输出: b'\x00\x00\x04\x00'
# 解包回整数
unpacked = struct.unpack('>l', packed)
print(f"unpacked: {unpacked[0]}") # 输出: 1024
在日志服务器中的应用:
服务器端代码片段如下所示：首先接收日志记录的长度，然后接收数据本身。长度使用 struct.unpack('>L', length_of_data)[0] 解包，获取数据的实际长度。数据使用 pickle.loads() 接收并反序列化。最后，使用 logging.makeLogRecord() 创建日志记录并发送到日志处理程序。
length_of_data = connection.recv(4)
if not length_of_data:
break
length = struct.unpack('>L', length_of_data)[0]
log_data = connection.recv(length)
if not log_data:
break
log_data = pickle.loads(log_data)
log_record = logging.makeLogRecord(log_data)
for handler in self._handlers:
handler.emit(log_record) 
