메시지를 어디까지 읽었는 지 기억하고, 그 다음 메시지부터 처리하기 (Consumer Group, Offset)

JSCODE 박재성

2025-12-06

✅ 메시지를 어디까지 읽었는 지 기억하고, 그 다음 메시지부터 처리하기

그림으로 나타내면 다음과 같다.

• 토픽에 저장되어 있는 여러 메시지는 메시지의 순서를 나타내는 고유 번호인 오프셋(offset)을 가지고 있다.

• 오프셋(offset) 번호는 인덱스처럼 0부터 시작한다.

• 컨슈머 그룹(Consumer Group)은 1개 이상의 컨슈머(Consumer)를 가질 수 있다.

• 컨슈머 그룹(Consumer Group)은 어디까지 메시지를 읽었는 지에 대한 정보(CURRENT-OFFSET)를 알고 있다.
• CURRENT-OFFSET : 다음에 읽을 메시지의 오프셋 번호

지금까지 배운 내용을 실습을 통해 바로 확인해보자.

✅ [실습] 컨슈머 그룹을 지정해서 메시지 읽기

1. 컨슈머 그룹을 지정해서 메시지 읽기

# 컨슈머 그룹을 활용해 메시지 조회하기
$ bin/kafka-console-consumer.sh \
	--bootstrap-server localhost:9092 \
	--topic email.send \
	--from-beginning \
	--group email-send-group



• --group email-send-group
: 기존에 email-send-group이라는 컨슈머 그룹이 없었다면 email-send-group이라는 컨슈머 그룹을 생성한다. 그리고 이 컨슈머 그룹으로 메시지를 읽을건데, 몇 번째 메시지까지 읽었는 지를 오프셋 번호로 저장해둔다.
• --from-beginning (--group 옵션과 같이 사용했을 경우)
: 컨슈머 그룹의 오프셋 기록이 없으면 첫 메시지부터 읽고, 만약 오프셋 기록이 있으면 그 이후 오프셋부터 메시지를 읽는다.
 

2. 컨슈머 그룹이 잘 생성됐는 지 확인하기

# 컨슈머 그룹 전체 조회하기
$ bin/kafka-consumer-groups.sh \
	--bootstrap-server localhost:9092 \
	--list



 

3. 특정 컨슈머 그룹 세부 정보 조회하기

# 컨슈머 그룹 세부 정보 조회하기
$ bin/kafka-consumer-groups.sh \
	--bootstrap-server localhost:9092 \
	--group email-send-group \
	--describe



• CURRENT-OFFSET이 4로 되어 있는 걸 보니, email-send-group이라는 컨슈머 그룹이 오프셋이 0~3인 메시지(hello1, hello2, hello3, hello4)를 읽었고 다음으로 읽을 메시지의 오프셋이 4라는 걸 알 수 있다.
 

그림으로 나타내면 다음과 같다.

그럼 이번에는 컨슈머 그룹이 안 읽은 메시지부터 순차적으로 메시지를 읽는 지 확인해보자.

✅ [실습] 컨슈머 그룹이 안 읽은 메시지부터 순차적으로 메시지를 읽는 지 확인하기

1. 토픽에 메시지 추가로 넣기

# email.send라는 토픽에 메시지 넣기
$ bin/kafka-console-producer.sh \
	--bootstrap-server localhost:9092 \
	--topic email.send

# 위 명령어 입력 후 넣을 메시지 내용 입력하고 Enter 누르기
hello5

 

2. 이전에 사용했던 컨슈머 그룹으로 메시지 읽기
컨슈머 그룹이 정말 안 읽은 메시지부터 메시지를 읽어들이는 지 확인해보자.

$ bin/kafka-console-consumer.sh \
	--bootstrap-server localhost:9092 \
	--topic email.send \
	--group email-send-group \
	--from-beginning



hello1 ~ hello4 메시지는 읽어들이지 않고, 방금 전에 추가한 hello5 메시지부터 읽어들였다.
 

3. 컨슈머 그룹 세부 정보 조회하기

# 컨슈머 그룹 세부 정보 조회하기
$ bin/kafka-consumer-groups.sh \
	--bootstrap-server localhost:9092 \
	--group email-send-group \
	--describe



오프셋이 0~4인 메시지(총 5개의 메시지)까지 읽었으므로, CURRENT-OFFSET이 5로 표시되어 있다. 즉, 다음에 읽어야 할 메시지가 오프셋이 5인 메시지라는 뜻이다.

그림으로 나타내면 다음과 같다.

✅ 정리