AWS EC2에 Kafka 설치/실행하기

JSCODE 박재성

2025-12-06

✅ AWS EC2에 Kafka 설치하기

1. JDK 17 설치하기
Kafka를 실행시키려면 JDK 17 이상이 설치되어 있어야 한다.

$ sudo apt update
$ sudo apt install openjdk-17-jdk
$ java -version # 잘 설치됐는 지 확인

 

2. Kafka 설치 파일 다운받기

$ wget https://dlcdn.apache.org/kafka/4.0.0/kafka_2.13-4.0.0.tgz

** 카프카 4.0 버전을 설치
 

2. 설치한 파일 압축풀기

$ tar -xzf kafka_2.13-4.0.0.tgz # 압축 풀기
$ cd kafka_2.13-4.0.0

 

4. Kafka를 실행시켰을 때 잡아먹는 메모리 크기 낮추기
** 프리티어 혜택을 받아 셋팅한 AWS EC2의 t3.micro라는 컴퓨팅 사양은 메모리가 1GB이다. 그런데 Kafka를 실행시키기에는 부족한 메모리 사양이다. 그래서 Kafka를 실행시킬 때 Kafka가 잡아먹는 메모리의 크기를 낮춰야만 실행시킬 수 있다.

$ export KAFKA_HEAP_OPTS="-Xmx400m -Xms400m"

 

5. swap을 활용해 메모리 늘리기
** swap은 일부 디스크 공간을 메모리로 활용하는 기법이다. swap을 활용하면 EC2 인스턴스의 부족한 메모리 사양을 어느 정도 보완할 수 있다.
5.1. swap 메모리를 2GB로 설정
$ sudo dd if=/dev/zero of=/swapfile bs=128M count=16 # 2GB짜리의 파일 생성
$ sudo chmod 600 /swapfile # 파일에 권한 부여
$ sudo mkswap /swapfile # 2GB 짜리 파일을 swap 공간의 형태로 전환
$ sudo swapon /swapfile # swap 활성화
 
5.2. 시스템 부팅 시마다 자동으로 활성화 되도록 파일시스템 수정
# 시스템 부팅 시마다 자동으로 활성화 되도록 파일시스템 수정
$ sudo vi /etc/fstab

# 아래 내용을 추가하고 저장하기
/swapfile swap swap defaults 0 0

 
5.3. swap 메모리가 잘 설정됐는 지 확인하기

$ free



 

6. Kafka 설정 수정하기

$ vi config/server.properties

 
server.properties

...

# 외부에서 접근할 때 사용하는 주소
advertised.listeners=PLAINTEXT://{EC2 Public IP}:9092,CONTROLLER://{EC2 Public IP}:9093

클라이언트가 외부에서 접근할 때 사용하는 IP 주소로 고쳐야 한다. 그래서 EC2의 Public IP 주소로 변경해주었다.
 

3. Kafka 서버 시작하기

# 초기 로그 폴더 셋팅 (카프카 첫 실행 때만 이 명령어를 입력하면 됨)
$ KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
$ bin/kafka-storage.sh format --standalone -t $KAFKA_CLUSTER_ID -c config/server.properties

# 카프카 서버 실행
$ cd ~/kafka_2.13-4.0.0
$ bin/kafka-server-start.sh config/server.properties # 포그라운드에서 실행



• Kafka를 실행시켰을 때 위와 같은 로그가 찍힌다면 성공적으로 서버가 실행된 것이다.
• Kafka 서버를 종료하고 싶다면 Ctrl + c를 누르면 된다.
 

5. Kafka 서버를 백그라운드에서 실행하기

# 백그라운드에서 실행
$ bin/kafka-server-start.sh -daemon config/server.properties 

# 백그라운드에서 실행되고 있는 kafka 서버의 로그 확인하기
$ tail -f logs/kafkaServer.out 

 

9. Kafka 서버가 실행 중인지 확인하는 방법

$ sudo lsof -i:9092 # 9092번 포트에서 실행 중인 프로세스 조회

✅ Kafka 종료하기 / 다시 실행하기

Kafka를 연습하다보면 껐다가 다시 실행시킬 일이 많다. 따라서 Kafka를 종료했다가 다시 실행시켜보자.

1. Kakfa 종료하기

# 카프카 종료하기
$ bin/kafka-server-stop.sh

# 잘 종료됐나 확인
$ sudo lsof -i:9092

 

2. Kakfa 다시 실행하기

# 백그라운드에서 실행
$ bin/kafka-server-start.sh -daemon config/server.properties 

# 잘 실행됐나 확인
$ sudo lsof -i:9092

✅ 참고) 명령어 분석