Kafka 배포

Kafka 설정하기

Kafka docker-compose.yml

Posted by Yan on April 8, 2025

Kafka 브로커 구성하는 방법

Zookeeper + Kafka 브로커 3개 구성으로 클러스터 만들기

이 예제의 구조:

1
2
3
4
5

📦 docker-compose.yml
├── zookeeper  ← 브로커들을 관리하는 중앙 컨트롤러
├── kafka1     ← 브로커1 (포트 19092)
├── kafka2     ← 브로커2 (포트 19093)
└── kafka3     ← 브로커3 (포트 19094)

Zookeeper 설정하기

카프카는 브로커들끼리 조율할 때 Zookeeper를 통해 정보를 공유한다.
먼저 Zookeeper 이미지를 가져온다.

1
2
3
4
5
6
7

zookeeper:
  image: confluentinc/cp-zookeeper:latest
  environment:
    ZOOKEEPER_SERVER_ID: 1
    ZOOKEEPER_CLIENT_PORT: 2181  # 내부에서 사용하는 기본 포트
  ports:
    - "22181:2181" # 외부에서 테스트할 수 있도록 포트 22181로 외부에 노출한다

Kafka 브로커 설정하기

각각의 브로커 (kafka1, kafka2, kafka3)는 아래 설정을 동일하게 적용한다. X는 각 브로커의 id넘버다.

1
2
3
4
5
6
7
8
9
10
11

image: confluentinc/cp-kafka:latest
depends_on:
  - zookeeper
ports:
  - "1909X:1909X" # 로컬 포트 : 컨테이너 내부 포트 → 클라이언트가 접속하려면 로컬 포트를 이용해야 하므로, 각 브로커마다 외부 노출 포트를 다르게 설정
environment:
  KAFKA_BROKER_ID: X       # 브로커 ID: 각기 다르게 지정해야 함
  KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181' # 카프카가 조율받을 Zookeeper 주소
  KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT # 리스너 이름 → 프로토콜 매핑
  KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafkaX:909X,EXTERNAL://localhost:1909X
  KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL # 브로커 간 통신용 리스너 지정
  • KAFKA_ADVERTISED_LISTENERS:
    • INTERNAL: 브로커끼리 통신할 때 사용
    • EXTERNAL: 클라이언트 (로컬PC 등)가 접속할 때 사용
  • 예시:
    • EXTERNAL://localhost:19092 ← 클라이언트가 접근할 때 접속 주소
    • INTERNAL://kafka1:9092 ← 도커 네트워크 내에서 브로커끼리 사용할 주소

docker-compose.yml 전체

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

version: "3.8"

services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_SERVER_ID: 1
      ZOOKEEPER_CLIENT_PORT: 2181
    ports:
      - "22181:2181"

  kafka1:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19092:19092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka1:9092,EXTERNAL://localhost:19092
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL

  kafka2:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19093:19093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka2:9093,EXTERNAL://localhost:19093
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL


  kafka3:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19094:19094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka3:9094,EXTERNAL://localhost:19094
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL

시작 방법

docker-compose.yml 저장 후 터미널에서 실행

1

docker-compose up -d

확인 방법

1

docker ps

브로커 1에 토픽 만들고 테스트 하려면

1
2
3
4
5
6
7
8
9
10
11

# 토픽 생성
docker exec -it <kafka1-container-id> \
  kafka-topics --bootstrap-server localhost:9092 --create --topic test-topic --partitions 3 --replication-factor 3

# 메시지 보내기
docker exec -it <kafka1-container-id> \
  kafka-console-producer --bootstrap-server localhost:9092 --topic test-topic

# 메시지 소비
docker exec -it <kafka2-container-id> \
  kafka-console-consumer --bootstrap-server localhost:9093 --topic test-topic --from-beginning
CATALOG