0

0

SQL Apache Kyuubi 的多引擎统一 SQL Gateway 配置与认证集成

舞夢輝影

舞夢輝影

发布时间:2026-02-20 14:47:02

|

912人浏览过

|

来源于php中文网

原创

kyuubi 连接 hiveserver2 兼容引擎需后端暴露标准 hs2 thrift 接口并正确路由:trino 要启用 hive-server2.enabled=true 且用 thrift-server(默认10000),spark 必须用官方 spark-sql-thriftserver 并补全 hive-service-rpc 依赖;ldap 认证需服务端配置 kyuubi.authentication=ldap、客户端 jdbc url 显式加 auth=ldap、jvm 指定 jaas 路径;trino 会话不兼容需禁用 kyuubi 会话复用(idle.timeout=0ms)及 trino 端 session-check-interval=0s。

sql apache kyuubi 的多引擎统一 sql gateway 配置与认证集成

如何让 Kyuubi 连上 HiveServer2 兼容的引擎(如 Trino、Spark SQL)

Kyuubi 本身不执行 SQL,它只做协议转发和会话管理。要支持多引擎,关键不是“配置 Kyuubi”,而是让每个后端引擎暴露标准的 HiveServer2(HS2)Thrift 接口,并确保 Kyuubi 能正确路由到对应实例。

常见错误是直接把 Trino 的 HTTP 端口(8080)或 Spark Thrift Server 的非 HS2 兼容端口填进 kyuubi.engine.spark.thrift.port —— 这会导致连接失败或协议解析异常。

  • Trino 必须启用 hive-server2 协议:在 config.properties 中设 hive-server2.enabled=true,并确认启动了 thrift-server(默认端口 10000
  • Spark SQL 引擎需用官方 spark-sql-thriftserver,不是自定义的 JDBC server;Kyuubi 官方只验证过 spark-sql-thriftserver 的 HS2 兼容性
  • 引擎必须开启 SASL 认证(哪怕用 NOSASL 模式),否则 Kyuubi 无法完成初始握手;检查日志中是否有 TTransportException: SASL negotiation failed

为什么 Kyuubi 的 LDAP 认证总是 fallback 到匿名登录

LDAP 配置生效的前提是 Kyuubi 启动时加载了正确的 JAAS 配置,且客户端连接时明确声明了 auth=LDAP —— 缺一不可。很多团队只改了服务端配置,却没在 JDBC URL 里加参数。

典型现象:日志显示 Authentication method: ANONYMOUS,即使 kyuubi.authentication=LDAP 已设。

  • JDBC URL 必须显式带 auth=LDAP,例如:jdbc:hive2://localhost:10009/;auth=LDAP
  • kyuubi.authentication=LDAP 只控制服务端是否允许该方式,不自动启用它
  • JAAS 配置文件(如 kyuubi-jaas.conf)路径必须通过 JVM 参数传入:-Djava.security.auth.login.config=/path/to/kyuubi-jaas.conf,不能只放 classpath 下
  • LDAP bind DN 和密码若含特殊字符(如 /@),需 URL 编码,否则 JAAS 解析失败静默降级

Spark 引擎在 Kyuubi 下提交作业失败:ClassNotFoundException: org.apache.hive.service.cli.thrift.ThriftCLIService

这个错说明 Spark 引擎进程缺失 HiveServer2 协议栈依赖,本质是 classpath 不完整。Kyuubi 提交的是标准 HS2 请求,但 Spark 自带的 spark-sql-thriftserver 默认不打包 Hive 服务类。

Cognitive Mill
Cognitive Mill

一个云计算平台,可以分析视频并自动生成预告片

下载

根本原因不是 Kyuubi 配置错,而是 Spark 发行版选择或依赖未对齐。

  • 必须使用 Apache Spark 官方二进制包(非云厂商定制版),并确认包含 hive-service-rpc 模块
  • 启动 Thrift Server 时需显式加 Hive 依赖:--jars /path/to/hive-service-rpc-*.jar
  • Spark 3.4+ 默认禁用 Hive 支持,需在 spark-defaults.conf 中设 spark.sql.hive.thriftServer.singleSession=true 并启用 spark.sql.hive.enableVectorizedReader=true
  • 如果混用 Kyuubi 1.9+ 和 Spark 3.2,注意 hive-service-rpc 版本需与 Kyuubi 编译时的 Hive 版本一致(通常为 3.1.3),否则类签名不匹配

Trino 引擎返回 InvalidSessionHandle 或频繁断连

这是 Kyuubi 与 Trino 的会话生命周期不兼容导致的。Trino 的 HS2 实现不完全遵循 Hive 规范:它不维护长期会话状态,而 Kyuubi 默认按 Hive 模式重用会话句柄。

结果就是第一次查询成功,后续操作报 InvalidSessionHandle,或连接几秒后自动关闭。

  • 必须关闭 Kyuubi 端的会话复用:设置 kyuubi.server.session.idle.timeout=0ms(禁用空闲超时) + kyuubi.server.session.check.interval=0ms
  • Trino 端需设 hive-server2.session-check-interval=0s,否则其内部会清理“过期”会话
  • 避免在同一个 Kyuubi session 中跨多个 Trino catalog 查询;Trino 的 HS2 对 catalog 切换支持弱,容易触发状态不一致
  • 不要用 Kyuubi 的 SET 命令去改 Trino 特有会话属性(如 set session join_distribution_type = 'broadcast'),Trino 不识别 Hive 风格的 SET 协议字段

多引擎统一的关键不在 Kyuubi 多配几个参数,而在于每个后端是否真正符合 HS2 协议语义 —— 表面能连上,不等于能稳定跑完复杂查询。协议细节偏差往往在并发或长会话时才暴露。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

986

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

334

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

377

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1760

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

375

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1312

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

436

2024.04.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
RunnerGo从入门到精通
RunnerGo从入门到精通

共22课时 | 1.8万人学习

尚学堂Mahout视频教程
尚学堂Mahout视频教程

共18课时 | 3.2万人学习

Linux优化视频教程
Linux优化视频教程

共14课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号