本文介绍如何将运行在 Docker 容器中的 Java 服务生成的日志发送到 ELK (Elasticsearch, Logstash, Kibana) 集群。我们将使用 Filebeat 作为日志收集器，直接从 Docker 容器中读取日志，并将其传输到 ELK 集群，无需将日志保存到本地文件。
将 Java 服务生成的日志集成到 ELK 集群中，可以实现集中式日志管理、分析和可视化，这对于微服务架构的项目尤其重要。 直接将日志发送到 ELK，避免了本地文件存储带来的复杂性，提高了效率。 本文将重点介绍如何使用 Filebeat 实现这一目标。
1. Filebeat 简介
Filebeat 是一个轻量级的日志收集器，属于 Elastic Beats 家族。 它可以监控指定的日志文件或输入源，并将日志数据发送到 Elasticsearch 或 Logstash。 Filebeat 具有资源占用少、配置简单、可靠性高等特点，非常适合在 Docker 环境中使用。
2. 配置 Filebeat
Filebeat 的核心配置文件通常是 filebeat.yml。 你需要根据你的 ELK 集群配置和 Docker 容器环境修改此文件。 以下是一个示例配置，可以作为起点：
立即学习“Java免费学习笔记（深入）”；
filebeat.inputs:
- type: docker
containers.ids:
- '*' # 监控所有容器的日志
output.logstash:
hosts: ["logstash:5044"] # Logstash 的地址和端口，需要根据你的实际情况修改
# 可选配置：启用 TLS/SSL 加密
# ssl:
# enabled: true
# certificate_authorities: ["/path/to/your/ca.crt"]
processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_host_metadata: ~配置说明：
- filebeat.inputs.type: docker: 指定输入类型为 Docker，表示 Filebeat 将从 Docker 容器中收集日志。
- filebeat.inputs.containers.ids: ['*']: 使用通配符 * 监控所有 Docker 容器的日志。 你也可以指定特定的容器 ID。
- output.logstash.hosts: 指定 Logstash 的地址和端口。 你需要将 logstash:5044 替换为你的 Logstash 实例的实际地址和端口。 如果你的 Logstash 启用了 TLS/SSL 加密，你需要配置 ssl 部分。
- processors: 添加元数据，例如云平台、Docker 容器和主机信息，方便后续分析。
3. 在 Docker 环境中运行 Filebeat
有多种方式可以在 Docker 环境中运行 Filebeat。 一种常见的方法是创建一个 Dockerfile，将 Filebeat 二进制文件和配置文件复制到镜像中。 另一种方法是使用 Docker Compose。
使用 Docker Compose 示例：
version: "3.7"
services:
filebeat:
image: docker.elastic.co/beats/filebeat:7.17.1 # 替换为你的 Filebeat 版本
volumes:
- ./filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
- /var/lib/docker/containers:/var/lib/docker/containers:ro # 挂载 Docker 容器日志目录
- /var/run/docker.sock:/var/run/docker.sock:ro # 挂载 Docker socket
user: root # 确保 Filebeat 有权限读取 Docker 容器日志
depends_on:
- logstash # 确保 Logstash 已经启动
networks:
- elk
networks:
elk:
driver: bridge配置说明：
- image: 指定 Filebeat 的 Docker 镜像。
- volumes: 挂载 Filebeat 配置文件和 Docker 容器日志目录。 /var/lib/docker/containers 是 Docker 容器日志的默认存储位置。 /var/run/docker.sock 允许 Filebeat 访问 Docker API 获取容器元数据。
- user: root: 确保 Filebeat 具有读取 Docker 容器日志的权限。 在生产环境中，建议使用更细粒度的权限控制。
- depends_on: 指定 Filebeat 依赖于 Logstash 服务。
- networks: 将 Filebeat、Logstash 和 Elasticsearch 放在同一个网络中，方便它们之间进行通信。
运行 docker-compose up 命令启动 Filebeat 容器。
4. 配置 Logstash (可选)
Logstash 是 ELK 集群中的数据处理管道。 你可以使用 Logstash 来解析、过滤和增强日志数据。 以下是一个示例 Logstash 配置文件：
input {
beats {
port => 5044
}
}
filter {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{DATA:logger} - %{GREEDYDATA:message}" }
}
date {
match => [ "timestamp", "ISO8601" ]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => ["elasticsearch:9200"] # Elasticsearch 的地址和端口
index => "java-logs-%{+YYYY.MM.dd}"
}
}配置说明：
- input.beats: 配置 Beats 输入插件，监听来自 Filebeat 的日志数据。
- filter.grok: 使用 Grok 插件解析日志消息。 你需要根据你的 Java 应用程序的日志格式修改 Grok 表达式。 上面的例子假设你的日志格式是 TIMESTAMP_ISO8601 LOGLEVEL logger - message。
- filter.date: 将日志消息中的时间戳转换为 @timestamp 字段，Elasticsearch 将使用此字段进行时间序列分析。
- output.elasticsearch: 配置 Elasticsearch 输出插件，将日志数据发送到 Elasticsearch。 index 选项指定 Elasticsearch 索引的名称。
5. 注意事项
- 权限问题： 确保 Filebeat 具有读取 Docker 容器日志的权限。
- 资源限制： Filebeat 资源占用少，但仍然需要根据你的日志量和服务器配置进行调整。
- 网络配置： 确保 Filebeat、Logstash 和 Elasticsearch 之间可以互相通信。
- 日志格式： 根据你的 Java 应用程序的日志格式配置 Logstash 的 Grok 表达式。
- Filebeat 版本： 建议使用与 Elasticsearch 兼容的 Filebeat 版本。
6. 总结
本文介绍了如何使用 Filebeat 将 Java 服务生成的日志发送到 ELK 集群。 通过配置 Filebeat 和 Logstash，你可以实现集中式日志管理、分析和可视化，提高微服务架构项目的可观察性。 记住，根据你的实际环境和需求调整配置文件。
