1. 为什么选择Docker部署Kafka？
在企业级开发环境中，Kafka作为分布式消息队列系统已经成为数据处理管道的标配。但传统部署方式往往面临环境配置复杂、依赖项多、版本冲突等问题。Docker容器化部署方案恰好能完美解决这些痛点。
我最近在金融行业的数据中台项目中，就采用了Docker部署Kafka的方案。相比传统部署方式，容器化方案将原本需要2-3天的环境搭建时间缩短到30分钟以内。特别是在内网环境中，这种优势更加明显——不需要逐台服务器安装JDK、配置Zookeeper、调整内核参数等繁琐操作。
重要提示：从Kafka 2.8.0版本开始，官方已经支持无Zookeeper的KRaft模式，这使部署复杂度大幅降低。本文采用的正是这种新架构。
2. 内网环境下的部署准备
2.1 基础环境要求
在内网部署时，我们需要特别注意以下准备事项：
- Docker环境：建议使用Docker 20.10.0以上版本
# 验证Docker版本 docker version --format '{{.Server.Version}}' - 存储规划：为Kafka数据卷预留足够空间（建议至少100GB）
- 网络配置：
- 确保9092（客户端）、9093（控制器）端口可用
- 如果是多节点集群，需要配置容器间网络互通
2.2 镜像选择策略
在内网环境中，我们通常需要先将镜像导出到离线环境。以下是经过生产验证的镜像组合：
| 组件 | 推荐镜像 | 版本标签 | 大小 |
|---|---|---|---|
| Kafka | apache/kafka | 3.6.1 | 567MB |
| 管理界面 | provectuslabs/kafka-ui | latest | 328MB |
实践经验：避免使用latest标签，建议明确指定版本号。我们曾经因为latest标签自动更新导致兼容性问题。
3. 单节点KRaft模式部署
3.1 docker-compose配置详解
以下是经过优化的内网部署配置（保存为docker-compose.yml）：
version: '3.8' services: kafka: image: apache/kafka:3.6.1 container_name: kafka ports: - "9092:9092" - "9093:9093" volumes: - ./kafka_data:/var/lib/kafka/data - ./config:/opt/kafka/config environment: KAFKA_NODE_ID: 1 KAFKA_PROCESS_ROLES: "controller,broker" KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka:9093" KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT" KAFKA_LISTENERS: "PLAINTEXT://:9092,CONTROLLER://:9093" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:9092" KAFKA_CONTROLLER_LISTENER_NAMES: "CONTROLLER" KAFKA_LOG_DIRS: "/var/lib/kafka/data" healthcheck: test: ["CMD", "kafka-broker-api-versions", "--bootstrap-server", "localhost:9092"] interval: 10s timeout: 5s retries: 3 kafka-ui: image: provectuslabs/kafka-ui:v0.7.1 depends_on: kafka: condition: service_healthy ports: - "8080:8080" environment: KAFKA_CLUSTERS_0_NAME: "local" KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: "kafka:9092"关键配置说明：
KAFKA_PROCESS_ROLES：同时担任controller和broker角色KAFKA_CONTROLLER_QUORUM_VOTERS：单节点时配置为自身- 健康检查确保Kafka完全启动后再启动UI
3.2 启动与验证
执行以下命令启动服务：
mkdir -p kafka_data config docker-compose up -d验证服务状态：
# 检查容器状态 docker-compose ps # 查看Kafka日志 docker-compose logs -f kafka # 测试Topic操作 docker exec -it kafka kafka-topics.sh \ --bootstrap-server localhost:9092 \ --create \ --topic test \ --partitions 1 \ --replication-factor 14. 生产级配置优化
4.1 性能调优参数
在内网环境中，我们需要根据硬件配置调整以下参数（添加到environment部分）：
environment: # 内存配置（根据实际内存调整） KAFKA_HEAP_OPTS: "-Xms4G -Xmx4G" # 网络处理线程 KAFKA_NUM_NETWORK_THREADS: "3" KAFKA_NUM_IO_THREADS: "8" # 磁盘IO优化 KAFKA_NUM_REPLICA_FETCHERS: "2" KAFKA_SOCKET_SEND_BUFFER_BYTES: "102400" # 日志保留策略 KAFKA_LOG_RETENTION_HOURS: "168" KAFKA_LOG_SEGMENT_BYTES: "1073741824"4.2 安全配置
内网环境同样需要基础安全措施：
- 创建JAAS配置文件（config/kafka_server_jaas.conf）：
KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret" user_admin="admin-secret" user_reader="reader-pass"; };- 更新docker-compose配置：
environment: KAFKA_SASL_ENABLED_MECHANISMS: "PLAIN" KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL: "PLAIN" KAFKA_OPTS: "-Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf" KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "CONTROLLER:PLAINTEXT,PLAINTEXT:SASL_PLAINTEXT" KAFKA_LISTENERS: "SASL_PLAINTEXT://:9092,CONTROLLER://:9093"5. 常见问题排查指南
5.1 启动问题排查
问题现象：容器不断重启
- 检查日志：
docker-compose logs kafka - 常见原因：
- 端口冲突（特别是9092/9093）
- 存储目录权限问题（建议chmod 777 kafka_data）
- 内存不足（调整KAFKA_HEAP_OPTS）
问题现象：UI无法连接Kafka
- 验证网络连通性：
docker exec -it kafka-ui curl -v kafka:9092 - 检查advertised.listeners配置是否正确
5.2 生产消息报错处理
错误：Authentication failed
- 检查JAAS文件格式是否正确
- 验证客户端使用的用户名密码是否匹配
错误：Leader not available
- 检查broker状态：
docker exec -it kafka kafka-broker-api-versions \ --bootstrap-server localhost:9092 - 可能是磁盘空间不足导致（df -h查看）
6. 集群扩展方案
虽然本文重点在单节点部署，但扩展到集群只需简单调整：
- 修改docker-compose.yml：
# 示例：3节点集群 services: kafka1: environment: KAFKA_NODE_ID: 1 KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka1:9093,2@kafka2:9093,3@kafka3:9093" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka1:9092" kafka2: environment: KAFKA_NODE_ID: 2 KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka1:9093,2@kafka2:9093,3@kafka3:9093" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka2:9092" kafka3: environment: KAFKA_NODE_ID: 3 KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka1:9093,2@kafka2:9093,3@kafka3:9093" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka3:9092"- 为每个节点分配独立的存储卷
- 调整副本数（建议3副本）
在实际项目中，我们通过这种方案成功部署了支撑日均10亿消息的Kafka集群。关键是要根据消息吞吐量合理规划分区数量和硬件资源。