选择 fluent bit + golang 构建云原生日志收集器，因 go 插件开发更简单快速，适合非极端性能场景。1. fluent bit 是轻量级日志收集器，支持多种输入输出插件；2. go 插件基于 cgo，可实现灵活扩展，适合开发中间件和适配器；3. 开发步骤包括定义入口点、实现逻辑、编译为 .so 动态库；4. kubernetes 中可通过自定义镜像或 configmap 挂载部署插件；5. 调试需关注日志输出、线程安全、资源释放及交叉编译问题。
Golang构建云原生日志收集器，核心在于结合轻量级日志处理器和高效的插件机制。Fluent Bit 是一个高性能、低资源消耗的日志收集器，特别适合在 Kubernetes 等云原生环境中使用。它支持多种输入输出插件，通过 Golang 开发插件可以实现灵活扩展。
为什么选择 Fluent Bit + Golang？
Fluent Bit 的插件系统允许你用 C 或 Go 实现自定义输入/输出逻辑。虽然官方推荐使用 C 编写插件以获得最佳性能，但 Go 插件开发更简单、快速，尤其适合内部项目或非极端性能场景。Go 插件基于 CGO，能与 Fluent Bit 主体通信，适合用于开发数据处理中间件、适配器等。
如何编写一个 Fluent Bit Go 插件？
要开发一个 Fluent Bit Go 插件，需要理解它的基本接口结构。Fluent Bit 会调用 Go 插件中预设的函数来启动、运行和停止插件。
立即学习“go语言免费学习笔记（深入）”；
基本步骤如下：
- 定义插件入口点（如
FLBPluginRegister和FLBPluginInit） - 实现数据采集或处理逻辑
- 使用 cgo 编译成
.so动态库供 Fluent Bit 加载
举个例子，如果你要做一个从某个 HTTP 接口拉取日志的输入插件，你可以在这个插件里发起 HTTP 请求，解析响应内容，并将每条日志传给 Fluent Bit 处理管道。
需要注意的是：Go 插件必须用 plugin 包的方式编译为共享库，且需启用 CGO 并设置正确的编译参数。
在 Kubernetes 中部署 Fluent Bit 插件
Kubernetes 中通常以 DaemonSet 形式部署 Fluent Bit，确保每个节点都有一个实例运行。如果你自己写的插件要集成进去，有两种方式：
- 将插件打包进镜像：构建自定义 Docker 镜像，把
.so插件文件放入指定路径（比如/fluent-bit/plugins），然后修改配置加载插件。 - 通过 ConfigMap 挂载插件：适用于测试环境，把插件二进制挂载到容器内，配合 fluent-bit.conf 配置加载。
例如，在 fluent-bit.conf 中添加：
[PLUGIN]
Name your_plugin_name
Path /fluent-bit/plugins/your_plugin.so这样 Fluent Bit 启动时就会加载你的插件。
注意：Go 插件体积较大，可能会增加容器镜像大小；同时要注意 Go 运行时对内存的影响，避免影响主进程性能。
调试与注意事项
调试 Fluent Bit Go 插件并不容易，因为插件是被 Fluent Bit 主程序加载执行的。建议的做法包括：
- 在插件代码中加入日志输出，输出到标准错误，方便查看运行状态
- 使用本地 Fluent Bit 测试插件是否正常工作
- 确保插件线程安全，避免阻塞主线程
- 插件退出时释放资源，防止内存泄漏
另外，由于 Go 插件依赖 CGO，交叉编译时需要特别注意目标平台架构和链接库问题。如果你是在 Mac 上开发 Linux 插件，记得设置 GOOS=linux 和适当的 CC 工具链。
基本上就这些。用 Golang 开发 Fluent Bit 插件虽然不如 C 插件高效，但在开发效率和可维护性上更有优势，特别是在团队协作和快速迭代的场景下，是个不错的选择。
