0

0

Kontroler 简介:用于 DAG 的 Kubernetes 调度引擎

DDD

DDD

发布时间:2024-11-22 08:51:09

|

1176人浏览过

|

来源于dev.to

转载

什么是控制器?

kontroler 是一个开源 kubernetes 调度引擎,旨在简化有向无环图 (dag) 的管理。借助 kontroler,您可以在 yaml 中定义工作流程,将任务作为容器化作业运行,甚至可以通过可选的基于 web 的 ui 将其可视化。无论您需要按计划执行工作流程还是响应实时事件,kontroler 都能提供灵活的 kubernetes 原生解决方案。

也就是说,我必须警告 kontroler 目前处于 alpha 状态。它非常适合实验和原型设计,但可能尚未准备好用于生产使用。作为一个副项目,kontroler 不提供支持,因此在生产中使用它需要您自担风险!

如果您想查看 github 存储库,请访问:https://github.com/greedykomododragon/kontroler

为什么要使用控制器?

管理 kubernetes 上的工作流程可能具有挑战性。虽然 kubernetes 提供了强大的原语(如 cronjobs 和 jobs),但协调复杂的工作流程与依赖项、重试和动态触发器通常需要自定义脚本或外部工具。 kontroler 通过提供 kubernetes 原生解决方案来定义、安排和管理有向无环图 (dag) 的工作流程,从而简化了此过程。

以下是 kontroler 脱颖而出的原因:

1. 使用 yaml 进行 gitops dag 管理

kontroler 使您能够使用简单的 yaml 文件定义整个工作流程,包括任务、依赖项、重试逻辑和条件执行。这种方法使您的工作流程保持声明性、版本控制,并且易于在团队之间共享。

将它们包装在 helm 图表中并使用自动化部署系统(例如 argocd 或 fluxcd),您就可以在 gitops 工作流程中管理 dag。

2. 支持事件驱动和预定的工作流程

无论您需要工作流程定期运行(例如 cronjobs)还是对实时触发器做出反应(例如来自队列的消息),kontroler 都能满足您的需求。它无缝集成了两种调度范例,使其适用于各种用例。

kontroler 使用 dagruns(kontroler 可以监控的自定义资源定义或 crd)进行操作。要执行 dag 运行,您只需创建一个 dagrun,然后 kontroler 管理执行。通过在控制器外部公开此功能,kontroler 可以与外部系统无缝集成。请参阅下面的 dagrun 示例:

apiVersion: kontroler.greedykomodo/v1alpha1
kind: DagRun
metadata:
  labels:
    app.kubernetes.io/name: dagrun
    app.kubernetes.io/instance: dagrun-sample
  name: dagrun-sample
spec:
  dagName: dag-sample
  parameters:
    - name: first
      fromSecret: secret-name-new
    - name: second
      value: value_new

您只需提供 dag 的名称,可以选择包含任何参数。如果未指定,参数将使用默认值。

3. 与容器无缝集成

作为 kubernetes 原生应用程序,kontroler 利用了该平台的优势。从简单的脚本到复杂的应用程序,kontroler 的容器优先设计确保任何工作负载都可以轻松集成到 dag 中。

为了进一步减少重复工作,我们添加了对 crd 形式的任务的支持。

4. 提供可选 ui 以提高可见性

虽然 yaml 非常适合基础设施即代码,但可视化工作流程并跟踪其执行可以显着简化调试和优化。 kontroler 提供了一个可选的基于 web 的 ui,用于创建和监控 dag,为团队提供了一种直观的方式来管理工作流程。

Kontroler 简介:用于 DAG 的 Kubernetes 调度引擎

TSCMS内容管理系统2.1 bulid20140504
TSCMS内容管理系统2.1 bulid20140504

TSCMS是遂宁唐氏兄弟网络技术服务有限公司独立研发的一套基于PHP+MySQL平台,采用MVC构架开发的网站建设系统,系统具有速度快,SEO友好,界操作简洁明了,模块扩展方便,二次开发简单等特点。系统支持模块标签数据调用,伪静态配置简单更有利于搜索引擎收录。您只需了解简单的HTML知识便能快速制作出专业的网站。

下载

在上面的屏幕截图中,它向您展示了:

  • 任务之间的联系
  • 在 dagrun 中它将显示状态
  • 单击网络时的 pod 结果

在底层,此功能由 vis-network 提供支持,vis-network 是一个用于创建图形的开源项目。您可以在此处找到他们的 github 存储库。最初,我们开发了自己的图形工具,但发现很难扩展并且使复杂的图形可读具有挑战性。因此,我们采用了这个开源解决方案。

5. 用于高级配置的灵活 pod 模板

kontroler 的 pod 模板可让您使用高级 kubernetes 功能(如机密、pvc、节点亲和性、安全上下文等)自定义任务。这使您可以对任务的执行方式进行细粒度控制,确保与集群的特定要求兼容。

数据存储的灵活性

管理工作流程的关键挑战之一是确保底层基础设施可以根据您的需求进行扩展。 kontroler 提供灵活的数据库支持和日志记录功能,使团队能够更轻松地管理 dag 并捕获详细的执行日志。无论您使用的是轻量级设置还是更强大的生产环境,kontroler 都有可以满足您需求的选项。

sqlite(默认 小规模)

对于较小的设置或开发过程,sqlite 是 kontroler 使用的默认数据库。它简单、轻量,不需要太多配置。如果您刚刚开始或出于测试目的运行 kontroler,sqlite 是一个方便的选择,因为它“开箱即用”,无需额外的数据库设置。

如果您更喜欢使用 sqlite,则无需对部署进行任何其他更改。只需按照安装说明进行操作,kontroler 就会处理剩下的事情。

postgresql(用于生产/大规模)

对于大型生产级部署,推荐使用 postgresql 来存储 dag 和 dagrun。 kontroler 使用 postgresql 提供处理大量工作流数据所需的更高性能、可扩展性和可靠性。 kontroler 兼容 postgresql 16 及以上版本

日志收集

对于许多 kubernetes 用户来说,集中式日志存储是可观察性和故障排除的关键要求。 kontroler 与 amazon s3 无缝集成以进行日志存储,从而可以轻松收集、存储和分析 dag 执行的日志。这种集成确保您可以捕获详细的日志,长期保存它们以供审核,并在出现问题时使用它们进行事后分析。

我们正在使用 minio 进行测试以避免成本,但在幕后,它使用 aws s3 api,并且应该能够检测您的 iam 属性以授予对 s3 存储桶的访问权限。

最后的评论

我们希望您能看看 kontroler!您可以在这里找到它:https://github.com/greedykomododragon/kontroler。

尽管仍处于 alpha 阶段,kontroler 对于希望简化 kubernetes 运营的团队来说具有巨大的潜力。随着它的发展,kontroler 的目标是成为在 kubernetes 中编排工作流程的强大工具,为团队提供轻松自动化复杂流程所需的可靠性和可扩展性。

kontroler 正在不断改进,因此请密切关注未来的更新!如果您想为该项目做出贡献,我们欢迎各种形式的贡献。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
github中文官网入口 github中文版官网网页进入
github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started,GitHub 是一种基于云的平台,可在其中存储、共享并与他人一起编写代码。 通过将代码存储在GitHub 上的“存储库”中,你可以: “展示或共享”你的工作。 持续“跟踪和管理”对代码的更改。

1019

2026.01.21

postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

158

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

980

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

199

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

271

2023.11.20

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

359

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2082

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

349

2023.08.31

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

7

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Git 教程
Git 教程

共21课时 | 3.1万人学习

Git版本控制工具
Git版本控制工具

共8课时 | 1.5万人学习

Git中文开发手册
Git中文开发手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号