1. 理解PySpark启动失败的常见原因
在JupyterLab或其他Python环境中运行PySpark时，用户可能会遇到两种主要的启动失败错误，它们通常指向底层Java或Spark环境配置问题：
FileNotFoundError: [WinError 2] The system cannot find the file specified: 当尝试初始化SparkSession时，如果系统无法找到PySpark启动Java虚拟机（JVM）所需的Java可执行文件（如java.exe）或Spark的启动脚本（如spark-submit），就会抛出此错误。这通常意味着PATH环境变量没有正确指向Java bin目录或Spark bin目录。
PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number.: 此错误表明PySpark成功启动了Java网关进程，但该进程未能正常启动并向PySpark报告其监听端口。这可能是由于Java环境配置不正确、Spark配置错误、内存不足、端口冲突或Spark启动脚本内部错误导致的。例如，SPARK_HOME指向了错误的路径，或者Java版本与Spark不兼容。
2. PySpark运行环境核心依赖
要成功运行PySpark，需要确保以下核心组件已正确安装和配置：
- Java Development Kit (JDK): Spark是基于JVM的，因此需要安装Java。通常推荐使用Java 8或Java 11，因为它们与大多数Spark版本具有良好的兼容性。
- Apache Spark: PySpark是Spark的Python API，需要安装完整的Apache Spark二进制包。选择与您的Hadoop版本兼容的预构建包（例如，pre-built for Apache Hadoop 3.3 and later）。
- Python 及 PySpark 库: 确保您的Python环境已安装pyspark库。
3. 关键环境变量配置详解
正确配置JAVA_HOME、SPARK_HOME和PATH是解决PySpark启动问题的关键。
JAVA_HOME: 此环境变量应指向Java JDK的安装根目录，而不是其bin目录。例如，如果JDK安装在C:\Program Files\Java\jdk1.8.0_391，则JAVA_HOME应设置为此路径。
SPARK_HOME: 此环境变量应指向Apache Spark的安装根目录。例如，如果Spark解压到C:\spark-3.5.0-bin-hadoop3，则SPARK_HOME应设置为此路径。请注意，它不应指向bin子目录。
PATH: PATH环境变量告诉操作系统在哪里查找可执行文件。为了让系统找到Java和Spark的命令，需要将%JAVA_HOME%\bin和%SPARK_HOME%\bin添加到PATH中。
3.1 示例：在Windows系统下设置系统环境变量
- 打开系统属性: 右键点击“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。
-
设置JAVA_HOME:
- 在“系统变量”下点击“新建”。
- 变量名：JAVA_HOME
- 变量值：C:\Program Files\Java\jdk1.8.0_391 (根据您的实际安装路径调整)
-
设置SPARK_HOME:
- 在“系统变量”下点击“新建”。
- 变量名：SPARK_HOME
- 变量值：C:\spark-3.5.0-bin-hadoop3 (根据您的实际安装路径调整，确保移除路径中的空格和特殊字符)
-
修改PATH:
- 在“系统变量”中找到Path变量，点击“编辑”。
- 点击“新建”，添加 %JAVA_HOME%\bin。
- 点击“新建”，添加 %SPARK_HOME%\bin。
- 确保这些路径位于列表靠前的位置，以避免与其他可能存在的同名可执行文件冲突。
- 确认并重启: 点击“确定”保存所有更改。为了确保新的环境变量生效，强烈建议重启JupyterLab内核或整个Jupyter服务，甚至重启操作系统。
3.2 示例：在Python脚本中临时设置环境变量
在某些情况下，您可能希望在Jupyter Notebook或Python脚本中临时设置或覆盖环境变量。这对于测试和调试非常有用，但请记住这些设置只在当前进程中有效。
立即学习“Java免费学习笔记（深入）”；
import os
# 确保Java和Spark的安装路径正确无误
java_home_path = r"C:\Java" # 示例路径，请替换为您的实际JDK根目录
spark_home_path = r"C:\spark-3.5.0-bin-hadoop3\spark-3.5.0-bin-hadoop3" # 示例路径，请替换为您的实际Spark根目录
# 设置 JAVA_HOME
os.environ["JAVA_HOME"] = java_home_path
# 设置 SPARK_HOME
os.environ["SPARK_HOME"] = spark_home_path
# 更新 PATH 环境变量，将 Java 和 Spark 的 bin 目录添加到 PATH
# 注意：Windows路径分隔符是反斜杠，但在Python字符串中需要转义或使用原始字符串r""
os.environ["PATH"] = os.path.join(java_home_path, "bin") + os.pathsep + \
os.path.join(spark_home_path, "bin") + os.pathsep + \
os.environ.get("PATH", "")
# 验证环境变量是否已设置
print(f"JAVA_HOME: {os.environ.get('JAVA_HOME')}")
print(f"SPARK_HOME: {os.environ.get('SPARK_HOME')}")
print(f"PATH (部分): {os.environ.get('PATH')[:100]}...") # 打印PATH的前100个字符
# 尝试创建 SparkSession
try:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('PySparkPractice').getOrCreate()
print("SparkSession 创建成功！")
spark.stop() # 完成后停止SparkSession
except Exception as e:
print(f"SparkSession 创建失败: {e}")
4. 验证与故障排除
配置完成后，进行验证是必不可少的步骤。
4.1 检查Java版本
打开命令提示符（CMD）或PowerShell，运行：
java -version
应显示您配置的Java版本信息，例如 java version "1.8.0_391"。
4.2 检查Spark安装
在命令提示符中，尝试运行Spark自带的一些工具：
spark-shell
或
pyspark
如果Spark环境配置正确，spark-shell会启动一个Scala解释器，pyspark会启动一个Python解释器，并自动创建一个SparkSession。如果这些命令可以正常运行，说明您的SPARK_HOME和PATH配置是有效的。
4.3 JupyterLab中的验证
在Jupyter Notebook中运行以下代码来验证PySpark是否能成功创建SparkSession：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('PySparkTest').getOrCreate()
spark.stop() # 完成后停止SparkSession
print("PySpark SparkSession 成功创建并停止。")4.4 常见问题与解决方案
- 路径错误或拼写错误: 这是最常见的问题。仔细检查JAVA_HOME和SPARK_HOME是否指向正确的根目录，PATH中是否包含了正确的bin子目录。注意，SPARK_HOME不应包含bin目录。例如，如果Spark安装在C:\spark-3.5.0-bin-hadoop3\spark-3.5.0-bin-hadoop3，那么SPARK_HOME就应该是这个完整的路径。
- 路径中包含空格或特殊字符: 尽量避免在Java或Spark的安装路径中使用空格、括号或其他特殊字符。如果必须使用，确保在设置环境变量时用引号括起来（尽管在系统变量中通常不需要）。更好的做法是重命名目录以去除这些字符。
- Java版本不兼容: 某些Spark版本可能对Java版本有严格要求。例如，Spark 3.x通常与Java 8和Java 11兼容，但可能不支持Java 17或更高版本。如果遇到JAVA_GATEWAY_EXITED错误，尝试切换到Java 8或Java 11。
- 未重启Jupyter内核或系统: 更改系统环境变量后，需要重启JupyterLab内核，甚至整个Jupyter服务或操作系统，以确保新的环境变量被加载。在Python脚本中设置的环境变量只对当前运行的进程有效。
- Spark版本与Hadoop版本兼容性: 下载Spark时，请确保选择与您打算使用的Hadoop版本兼容的预构建包。虽然在本地模式下运行通常不会立即显现问题，但在涉及HDFS或其他Hadoop组件时，这会变得很重要。
5. 总结
PySpark在JupyterLab中遇到FileNotFoundError或PySparkRuntimeError通常是由于Java和Spark环境配置不当所致。通过仔细检查和正确设置JAVA_HOME、SPARK_HOME以及PATH环境变量，并遵循本文提供的故障排除步骤，可以有效地解决这些问题。始终确保环境变量指向正确的安装路径，并重启相关服务以使更改生效，是成功配置PySpark环境的关键。
