PySpark 中通过 Log4j 获取的自定义 logger（如 'Example Processor'）即使调用 setLevel(Level.INFO)，INFO 及以下日志仍不显示，根本原因在于 Log4j 的根记录器（root logger）默认级别为 WARN，会拦截并屏蔽子 logger 的低级别日志输出。
pyspark 中通过 log4j 获取的自定义 logger（如 `'example processor'`）即使调用 `setlevel(level.info)`，info 及以下日志仍不显示，根本原因在于 log4j 的**根记录器（root logger）默认级别为 warn**，会拦截并屏蔽子 logger 的低级别日志输出。
在 PySpark 中，日志系统基于 Apache Log4j（1.x 或 2.x，取决于 Spark 版本），其采用层级式日志控制机制：每个 logger（如 'Example Processor'）的生效日志级别，不仅取决于自身 setLevel() 设置，更受限于其祖先 logger（尤其是 root logger）的级别阈值。若 root logger 级别为 WARN，则所有 INFO、DEBUG、TRACE 日志在到达 appender 前即被丢弃——无论子 logger 是否已设为 INFO。
因此，仅执行：
log4jLogger = self.spark.sparkContext._jvm.org.apache.log4j
self.log = log4jLogger.LogManager.getLogger('Example Processor')
self.log.setLevel(log4jLogger.Level.INFO) # ✅ 正确设置子 logger 级别是不充分的。必须同步确保 root logger 的级别不低于 INFO，否则日志流会在根节点被截断。
✅ 正确配置方式（推荐）
from pyspark.sql import SparkSession
self.spark = SparkSession.builder \
.master("local[1]") \
.appName("DemoProcessor") \
.getOrCreate()
# 获取 Log4j JVM 类
log4j = self.spark.sparkContext._jvm.org.apache.log4j
# 1. 设置自定义 logger（推荐使用带包名的命名空间，避免冲突）
self.log = log4j.LogManager.getLogger("com.example.ExampleProcessor")
# 2. 关键：显式提升 root logger 级别（必须！）
root_logger = log4j.LogManager.getRootLogger()
root_logger.setLevel(log4j.Level.INFO) # ? 核心修复步骤
# 3. （可选）验证当前 root 级别
print(f"Root logger level: {root_logger.getLevel()}")
# 4. 测试日志输出
self.log.info("Info Message!") # ✅ 现在可见
self.log.warn("Warn Message!") # ✅
self.log.error("Error Message!") # ✅? 注意：sc.setLogLevel("INFO")（如 spark.sparkContext.setLogLevel("INFO")）仅影响 Spark 内部组件日志（如 DAGScheduler、Executor），对用户创建的 Log4j logger 完全无效。它修改的是 Spark 封装层的日志桥接配置，而非底层 Log4j 的 root logger。
⚠️ 其他常见陷阱与建议
- 避免使用纯名称 logger（如 'Example Processor'）：空格和特殊字符可能引发 Log4j 解析异常；建议使用符合 Java 包名规范的命名（如 "com.example.processor"）。
- 不要依赖 DEBUG 级别“碰巧生效”：DEBUG 能打印 INFO 是因为 DEBUG
- Log4j 2.x 用户注意：Spark 3.0+ 默认使用 Log4j 2，其 API 略有不同（如 org.apache.logging.log4j）。若遇到 ClassNotFoundException，请确认 Spark 版本并调整导入路径。
- 容器/集群环境补充：YARN/K8s 中还需检查 log4j.properties 配置文件是否强制覆盖了 root 级别（例如 log4j.rootLogger=WARN, console），此时需在 --files 中挂载自定义配置或通过 spark.driver.extraJavaOptions 覆盖。
✅ 总结
PySpark 自定义 Log4j logger 不输出 INFO 日志，本质是 Log4j 的 root logger 级别限制所致，而非子 logger 设置失败。解决只需两步：
- log4j.LogManager.getRootLogger().setLevel(Level.INFO)
- your_logger.setLevel(Level.INFO)
二者缺一不可。牢记：Log4j 日志传播遵循“取高者”原则（实际是“取严格者”）——最终生效级别 = max(子logger.level, 所有祖先.level)，而 root 是最终祖先。 合理配置 root 级别，是掌控 PySpark 日志可见性的关键前提。
