JSCODE Logo
JSCODE 박재성JSCODE 제이온JSCODE 시니
온라인 강의프로그래밍 과외책/전자책무료 강의
유튜브블로그
후기
완강 후기 이벤트블로그 리뷰 이벤트AWS SAA 합격 후기 이벤트
회사명 : JSCODE대표 : 박재성사업자 등록번호 : 244-22-01557통신판매업 : 제 2023-인천미추홀-0381 호

서울특별시 구로구 경인로 20가길 11(오류동, 아델리아)

Copyright ⓒ 2026 JSCODE - 최상위 현업 개발자들의 프로그래밍 교육 All rights reserved.

이용약관개인정보처리방침

실전에서 바로 써먹는 Kafka 입문

Kafka 사전 지식 / 환경 셋팅

Kafka를 왜 배워야할까?
Kafka란? / 메시지 큐(Message Queue)란?
Kafka 설치할 환경 셋팅하기 (feat. EC2)
AWS EC2에 Kafka 설치/실행하기

Kafka 기본 개념

Kafka의 기본 구성 (Topic, Consumer, Producer)
토픽 생성하기 / 조회하기 / 삭제하기
Kafka에 메시지 넣기 / Kafka에서 메시지 조회하기
메시지를 어디까지 읽었는 지 기억하고, 그 다음 메시지부터 처리하기 (Consumer Group, Offset)
[보충 자료] 토픽, 컨슈머 그룹 이름 짓는 법 (Naming Convention)
[실습] Spring Boot에 Kafka 연결을 위한 코드 추가하기
[실습] Spring Boot로 Kafka에 메시지 넣는 코드 작성하기 (Producer)
[실습] Spring Boot가 Kafka에 메시지 잘 넣는 지 테스트해보기
[실습] Spring Boot로 Kafka에서 메시지 조회하기 (Consumer)
Kafka의 비동기 처리로 인한 성능 이점 느껴보기

Kafka 메시지 처리 실패 시 대처 방법

[실습] Spring Boot로 Kafka에서 처리에 실패한 메시지를 재시도(Retry)하도록 만들기
[실습] Spring Boot로 Kafka에서 재시도조차 실패한 메시지를 따로 보관하기 (DLT, Dead Letter Topic)
[실습] Spring Boot로 재시도조차 실패한 메시지 사후 처리하기

Kafka 메시지 처리 성능 높이기 (병렬 처리)

컨슈머가 메시지를 하나씩만 처리하는 현상
파티션(Partition)이란? / 특징
[실습] Spring Boot로 하나의 파티션에는 정말 하나의 컨슈머만 할당되는 지 확인해보기
특정 토픽의 파티션 수 조회하기 / 설정하기 / 변경하기
[실습] Spring Boot로 여러 개의 파티션에 메시지가 골고루 들어가는 지 확인해보기
[실습] Spring Boot에서 여러 개의 컨슈머로 메시지 병렬적으로 처리하기
[실습] Spring Boot에서 하나의 컨슈머로 메시지 병렬적으로 처리하기
적정 파티션 개수 계산하는 방법
컨슈머가 메시지를 지연 없이 잘 처리하고 있는 지 확인하는 방법 (Consumer Lag)

Kafka 장애 대비하기 (고가용성)

노드(node), 브로커(broker), 컨트롤러(controller), 클러스터(cluster), 레플리케이션(replication)이란?
[실습] kafka 서버 총 3대 셋팅하기
[실습] Kafka 서버 3대가 서로 잘 연동됐는 지 확인하기
토픽 세부 정보 출력값 정보 해석하기 (Isr, Leader, Replicas 등)
[실습] 팔로워 파티션에 메시지를 넣으면 어떻게 될까?
[실습] 리더 파티션에 장애가 발생하면 어떻게 될까? / Kafka 서버 1대가 고장나면 어떻게 될까?
Kafka 서버는 몇 대를 운용하는 게 좋을까?
Spring Boot에 Kafka 서버 3대를 연결해서 사용하는 방법

[프로젝트] MSA 프로젝트에서 Kafka 도입하기

프로젝트 설계
[실습] Spring Boot로 UserService 서버 초기 환경 설정하기
[실습] 회원가입 API 전체 뼈대 만들기
[실습] 회원 가입 비즈니스 로직 짜기
[실습] Spring Boot로 EmailService 서버 초기 환경 설정하기
[실습] 이메일 발송을 처리할 Consumer 로직 짜기
[실습] 프로젝트 구조에 맞게 Kafka 셋팅하기
[실습] 잘 작동하는 지 테스트해보기
← 블로그 목록으로 돌아가기

Kafka에 메시지 넣기 / Kafka에서 메시지 조회하기

JSCODE 박재성
JSCODE 박재성
2026. 03. 13.
author
JSCODE 박재성
category
Kafka
createdAt
Dec 6, 2025 05:14 AM
isPublic
isPublic
series
실전에서 바로 써먹는 Kafka 입문
slug
produce-consume-messages
type
post
updatedAt
Mar 13, 2026 09:00

✅ Kafka에 메시지 넣기

Producer가 Kafka로 메시지를 보내는 역할을 한다고 했다. Producer를 대신해 CLI 명령어를 활용해 Kafka에 메시지를 넣어보자.
notion image
 
  1. 토픽 생성
    1. # email.send라는 토픽 생성 $ bin/kafka-topics.sh \ --bootstrap-server localhost:9092 \ --create --topic email.send
       
  1. Kafka의 특정 토픽에 메시지 넣기
    1. Kafka에 넣는 메시지는 Key-Value 형태로 넣을 수도 있고, Key는 생략한 채로 Value만 넣을 수도 있다. 우선 Key를 생략한 채로 Value만 넣는 방식을 배워보자.
      # email.send라는 토픽에 메시지 넣기 $ bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic email.send # 위 명령어 입력 후 넣을 메시지 내용 입력하고 Enter 누르기 hello1 hello2 hello3 # 입력 다 했으면 Ctlr + c로 입력 상태 종료하기
      notion image
 
아무런 에러가 뜨지 않았다면 토픽에 메시지가 잘 들어간 것이다. 이제 토픽에 넣은 메시지를 조회하는 방법에 대해 알아보자.
 

✅ Kafka에서 메시지 조회하기

전통적인 메시지 큐(RabbitMQ, SQS)는 메시지를 꺼내서 읽어들이면 해당 메시지를 큐에서 제거하는 구조이다. 반면에 Kafka는 메시지를 읽고 제거하는 방식이 아니라, 저장되어 있는 메시지를 읽기만 하고 제거하지 않는 방식으로 작동한다. 이런 구조 덕분에 Kafka는 같은 메시지를 여러 번 읽는게 가능하다.
notion image
 
  1. 특정 토픽에 쌓인 메시지 전부 조회하기 + 실시간으로 메시지 조회하기
    1. # email.send라는 토픽에 있는 메시지 꺼내기 $ bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic email.send \ --from-beginning
      • --from-beginning : 토픽에 저장된 가장 처음 메시지부터 출력해온다.
위 명령어를 입력하면 토픽에 저장된 메시지를 전부 조회한다. 그리고 계속해서 메시지를 실시간으로 조회하는 상태로 변경된다. 정말 그런지 테스트하기 위해 터미널 창을 하나 더 켜서 email.send 토픽에 메시지를 추가로 넣어보자.
 
  1. 토픽에 메시지 추가하기
    1. $ bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic email.send # 위 명령어 입력 후 넣을 메시지 내용 입력하고 Enter 누르기 hello4
      notion image
      email.send 토픽에 메시지를 넣자마자, email.send 토픽의 메시지를 조회하고 있는 터미널 창에서 실시간으로 메시지를 읽어오는 걸 확인할 수 있다.
       
  1. 메시지를 다시 읽어올 수 있는 지 확인하기
    1. # 아래 명령어 다시 입력해보기 $ bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic email.send \ --from-beginning
      만약 Kafka가 메시지를 꺼내서 읽는 순간 메시지를 삭제하는 방식이었다면, 다시 메시지를 조회하는 명령어를 입력했을 때 메시지가 조회되지 않아야 한다. 하지만 아래 명령어를 입력해보면 정상적으로 메시지를 잘 읽어오는 걸 확인할 수 있다.
      이로써 Kafka는 메시지를 읽고 제거하는 방식이 아니라, 저장되어 있는 메시지를 읽기만 하고 제거하지 않는 방식이라는 걸 알 수 있었다.
 
 
👨🏻‍🏫
지금까지 배운 내용은 kafka에 메시지를 넣는 방법과, kafka에 들어있는 메시지를 처음부터 끝까지 다 읽는 방법만 배웠다. 하지만 실제 서비스에서는 메시지를 단순히 한 번만 읽고 끝나는 게 아니라, 어디까지 읽었는지를 기억하고 그 다음 메시지부터 계속해서 처리하는 방식이 필요하다.
다음 강의에서는 메시지를 어디까지 읽었는 지 기억해뒀다가, 처리하지 않은 메시지부터 처리하는 방식에 대해서 알아보자.
 
📎
이 글은 실전에서 바로 써먹는 Kafka 입문 강의의 수업 자료 중 일부입니다.