连接到在 Docker 中运行的 Kafka

PHPz

发布时间：2024-02-14 23:42:08

1385人浏览过

来源于stackoverflow

转载

连接到在 docker 中运行的 kafka

在当今的软件开发领域，容器化技术成为了一种越来越流行的部署方式。而Docker作为最受欢迎的容器化解决方案之一，为开发者提供了便捷的环境隔离和部署方式。对于使用Kafka作为消息队列系统的开发者来说，将Kafka与Docker结合起来，可以更加灵活和高效地进行开发和部署。在本篇文章中，php小编西瓜将为大家介绍如何在Docker中运行Kafka，让您轻松享受容器化带来的便利。

问题内容

我在本地计算机上设置了一个单节点 kafka docker 容器，如 confluence 文档中所述（步骤 2-3）。

此外，我还公开了 zookeeper 的端口 2181 和 kafka 的端口 9092，以便我能够从本地计算机上运行的客户端连接到它们：

$ docker run -d \
    -p 2181:2181 \
    --net=confluent \
    --name=zookeeper \
    -e zookeeper_client_port=2181 \
    confluentinc/cp-zookeeper:4.1.0

$ docker run -d \
    --net=confluent \
    --name=kafka \
    -p 9092:9092 \
    -e kafka_zookeeper_connect=zookeeper:2181 \
    -e kafka_advertised_listeners=plaintext://kafka:9092 \
    -e kafka_offsets_topic_replication_factor=1 \
    confluentinc/cp-kafka:4.1.0

问题：当我尝试从主机连接到 kafka 时，连接失败，因为 无法解析地址：kafka:9092。

这是我的 java 代码：

properties props = new properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("client.id", "kafkaexampleproducer");
props.put("key.serializer", longserializer.class.getname());
props.put("value.serializer", stringserializer.class.getname());
kafkaproducer<long, string> producer = new kafkaproducer<>(props);
producerrecord<long, string> record = new producerrecord<>("foo", 1l, "test 1");
producer.send(record).get();
producer.flush();

例外：

java.io.IOException: Can't resolve address: kafka:9092
    at org.apache.kafka.common.network.Selector.doConnect(Selector.java:235) ~[kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.common.network.Selector.connect(Selector.java:214) ~[kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:864) [kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:265) [kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:266) [kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:238) [kafka-clients-2.0.0.jar:na]
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:176) [kafka-clients-2.0.0.jar:na]
    at java.lang.Thread.run(Thread.java:748) [na:1.8.0_144]
Caused by: java.nio.channels.UnresolvedAddressException: null
    at sun.nio.ch.Net.checkAddress(Net.java:101) ~[na:1.8.0_144]
    at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622) ~[na:1.8.0_144]
    at org.apache.kafka.common.network.Selector.doConnect(Selector.java:233) ~[kafka-clients-2.0.0.jar:na]
    ... 7 common frames omitted

问题：如何连接到在 docker 中运行的 kafka？我的代码是从主机运行的，而不是 docker。

注意：我知道理论上我可以尝试 dns 设置和 /etc/hosts 但这是一种解决方法 - 不应该是这样的。

这里也有类似的问题，但它是基于 ches/kafka 图像。我使用基于 confluenceinc 的图像，这是不一样的。

解决方法

tl;dr - 从容器到主机的简单端口转发将不起作用...主机文件（例如 *NIX 系统上的 /etc/hosts ）不应修改以解决 Kafka 网络问题，因为此解决方案不可移植。

1) 您想要连接到哪个确切的 IP/主机名 + 端口？确保该值在代理上设置为 advertished.listeners （不是 advertished.host.name 和 advertished.port，因为这些已被弃用）。如果您看到诸如 Connection to node -1 (localhost/127.0.0.1:9092) 之类的错误，则意味着您的应用程序容器尝试连接到自身。您的应用程序容器是否也在运行 Kafka 代理进程？可能不是。

2) 确保作为 bootstrap.servers 一部分列出的服务器实际上是可解析的。例如 ping IP/主机名，使用 netcat 检查端口...如果您的客户端位于容器中，则需要从容器执行此操作，而不是（仅）从主机执行此操作。如果容器没有立即崩溃以访问其 shell，请使用 docker exec。

3) 如果从主机而不是另一个容器运行进程，要验证端口是否在主机上正确映射，请确保 docker ps 显示 kafka 容器是从 0.0.0.0 映射的：<host_port> -> <advertished_listener_port> /tcp.如果尝试从 Docker 网络外部运行客户端，则端口必须匹配。两个容器之间不需要端口转发；使用链接/docker网络

下面的答案使用 confluenceinc docker 镜像来解决所提出的问题，不是 wurstmeister/kafka。如果您设置了 KAFKA_ADVERTISED_HOST_NAME 变量，请将其删除（这是一个已弃用的属性）

以下部分尝试汇总使用其他图像所需的所有详细信息。对于其他常用的 Kafka 镜像，都是在容器中运行的 Apache Kafka。
您只依赖于它的配置方式。以及哪些变量导致了这种情况。

`wurstmeister/kafka`

自 2023 年 10 月起，DockerHub 中不再存在此内容。无论如何，2022 年之后就不再维护了。

请参阅有关监听器配置的自述文件部分 a>，另外阅读他们的 Connectivity wiki。

`bitnami/kafka`

如果您想要一个小容器，请尝试这些。这些图像比 Confluence 小得多，并且比 wurstmeister 维护得更好。参考他们的监听器配置的自述文件。

`debezium/kafka`

此处提到了相关文档此处。

注意：已弃用公布的主机和端口设置。广告听众涵盖了两者。与 Confluence 容器类似，Debezium 可以使用 KAFKA_ 前缀的代理设置来更新其属性。

其他

ubuntu/kafka 要求您通过 Docker 映像参数添加 --overrideadvertising.listeners=kafka:9092...我发现它不如环境变量可移植，因此不推荐
spotify/kafka 已弃用且已过时。
fast-data-dev 或 lensesio/box 非常适合一体化解决方案，具有架构注册表、Kafka Connect 等，但如果您仅想要 Kafka，则显得臃肿。另外，这是一种在一个容器中运行多个服务的 Docker 反模式
您自己的 Dockerfile - 为什么？这些其他的东西是否不完整？从拉取请求开始，而不是从头开始。