Spark本地模式跑不起来，ClassNotFoundException: org.apache.spark.sql.SparkSession
这是最常卡住的第一步：连依赖都没拉对。Maven里只写spark-core_2.12，但没加spark-sql_2.12，一建SparkSession就崩。Scala版本必须和Spark官方编译版本严格匹配——Spark 3.4.x 默认用 Scala 2.12，你用了 2.13 的spark-sql jar，类加载器直接找不到主类。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 去 mvnrepository 找对应 Spark 版本的
spark-sql_2.12，别手输 - 确认
pom.xml里所有 Spark 模块（core、sql、hive）后缀都是_2.12（除非你明确在用 Scala 2.13 + Spark 3.5+） - IDE里右键项目 → Maven → Reload，别只改 pom 就 run
提交到 YARN 报错：Failed to connect to server at 0.0.0.0:8032
这说明 Spark 客户端根本没连上 YARN ResourceManager。不是 Spark 配错了，是本地机器压根没配 YARN 客户端环境——yarn-site.xml 和 core-site.xml 没扔进src/main/resources，或者路径没加进SPARK_CONF_DIR。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 从 Hadoop 集群的
$HADOOP_HOME/etc/hadoop/下复制yarn-site.xml、core-site.xml、hdfs-site.xml到项目 resources 目录 - 检查
yarn-site.xml里yarn.resourcemanager.hostname是不是真实 IP，别留着localhost - 运行时加参数：
--conf spark.hadoop.yarn.resourcemanager.address=your-rm-host:8032，比改 XML 更快验证
spark-submit 提交后任务卡在 ACCEPTED 状态不动
YARN 分配了 ApplicationMaster，但 AM 自己起不来，常见原因是内存超限或 Python/Java 环境不一致。比如集群开的是 Java 8，你本地打包用了 Java 11 的 lambda 表达式，AM 进程启动失败，YARN 却不报错，只一直等。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 用
yarn application -list查到 app ID，再用yarn logs -applicationId <id></id>看 AM 日志，重点扫Exception in thread "main" -
spark-submit加--driver-memory 2g --executor-memory 4g，别信默认值；YARN 的yarn.nodemanager.resource.memory-mb必须大于 executor 内存总和 - 确认集群所有节点的
$JAVA_HOME指向同一 JDK 版本，且java -version输出一致
Java 代码里 setMaster("yarn") 没用，还是走 local[*]
SparkSession.builder() 中写的setMaster("yarn") 在提交到 YARN 时会被忽略——真正起作用的是 spark-submit 命令里的--master yarn 或配置文件中的spark.master。代码里硬写只是开发时方便切 local 测试，上线必须靠外部控制。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 删掉 Java 代码里所有
setMaster(...)，统一由部署侧控制；保留setAppName("xxx")即可 - 在
spark-defaults.conf里写spark.master yarn，比每次 submit 加参数更稳 - 如果要用不同环境（dev/test/prod），用 profile 区分配置文件，别在代码里 if-else 切 master
YARN 上跑 Spark 最容易被忽略的，是 NodeManager 的yarn.nodemanager.env-whitelist——它默认不透传JAVA_HOME 和HADOOP_CONF_DIR，导致 executor 启动时找不到 Hadoop 类。这个配置要集群管理员改，开发测不到，上线才爆雷。
