引言：按需执行Databricks脚本的需求
在现代数据平台架构中，经常会遇到需要从外部系统（例如业务应用程序、调度服务或自定义api）触发和执行数据处理任务的需求。azure databricks作为强大的数据分析和机器学习平台，其脚本（如notebook或job）的按需执行能力对于构建灵活、响应迅速的数据管道至关重要。本教程将详细介绍如何通过java应用程序，利用databricks cli实现这一目标。
核心工具：Databricks CLI
Databricks CLI（命令行界面）是Azure Databricks平台提供的一个强大工具，它允许用户通过命令行与Databricks工作区进行交互，执行各种操作，包括管理集群、文件、作业、Notebook等。它是实现从外部系统触发Databricks任务的关键。
1. 什么是Databricks CLI？
Databricks CLI是一个基于Python的命令行工具，它封装了Databricks REST API，提供了一个更简洁、易用的接口。通过它，您可以编写脚本来自动化Databricks工作区中的日常操作。
2. Databricks CLI的安装与配置
在开始使用Databricks CLI之前，您需要先安装它并进行配置。
安装步骤：
立即学习“Java免费学习笔记（深入）”；
pip install databricks-cli
配置步骤：
配置Databricks CLI需要提供Databricks工作区的URL和访问令牌。
databricks configure --token
系统会提示您输入：
- Databricks Host: 您的Azure Databricks工作区URL，例如 https://adb-YOUR_WORKSPACE_ID.azuredatabricks.net/
- Token: 您的个人访问令牌（Personal Access Token, PAT）。您可以在Databricks工作区中生成此令牌。
配置完成后，Databricks CLI会将这些凭据存储在本地配置文件中，以便后续命令使用。
3. 通过Databricks CLI执行Databricks任务
Databricks CLI支持多种执行Databricks任务的方式，最常见的是通过运行Notebook或提交Job。
执行Notebook：
如果您想直接运行一个Databricks Notebook，可以使用databricks run命令。
databricks runs submit --notebook-path /Users/your_email/my-notebook --name "My On-Demand Notebook Run"
此命令会创建一个新的Notebook运行。您可以通过--json参数获取运行ID，以便后续监控。
提交并运行Job：
更推荐的方式是创建和运行Databricks Job。Job提供了更强大的调度、参数传递和错误处理能力。
首先，您需要定义一个Job的JSON配置。例如，一个运行Notebook的Job配置 job_config.json：
{
"name": "My_Java_Triggered_Job",
"new_cluster": {
"spark_version": "12.2.x-scala2.12",
"node_type_id": "Standard_DS3_v2",
"num_workers": 2
},
"notebook_task": {
"notebook_path": "/Users/your_email/my-notebook",
"base_parameters": {
"param1": "value1",
"param2": "value2"
}
},
"timeout_seconds": 3600,
"max_retries": 1
}然后，使用Databricks CLI创建并运行此Job：
# 创建Job (如果尚未创建) databricks jobs create --json-file job_config.json # 获取Job ID (如果需要) # databricks jobs list --json | jq '.jobs[] | select(.settings.name=="My_Java_Triggered_Job") | .job_id' # 运行Job (假设Job ID为123456789012345) databricks jobs run-now --job-id 123456789012345 --json
run-now命令会立即触发一个Job运行，并返回运行ID。
从Java应用程序调用Databricks CLI
由于Databricks CLI是一个命令行工具，Java应用程序可以通过执行外部进程的方式来调用它。Java的ProcessBuilder类是实现这一功能的推荐方式，因为它提供了更灵活的进程管理和输入/输出重定向。
1. Java中的命令行执行
使用ProcessBuilder可以构建和启动一个外部进程。它允许您指定要执行的命令、参数、工作目录以及环境变量，并提供了捕获进程输出和错误流的方法。
2. 示例：Java调用Databricks CLI执行Job
以下是一个Java代码示例，演示如何调用Databricks CLI来触发一个Databricks Job的运行。
import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.IOException; import java.util.ArrayList;
