컨슈머가 메시지를 지연 없이 잘 처리하고 있는 지 확인하는 방법 (Consumer Lag)

author

JSCODE 박재성

✅ Lag 이란?

평소에 컴퓨터가 느려지거나 버벅거리면 우리는 “렉 걸린다”라는 표현을 쓴다. 이 때, 렉이라는 단어는 영어 단어인 Lag을 한글로 읽은 것이다. Lag의 뜻은 ‘지연, delay’의 의미를 가진다.

카프카에서 사용하는 랙(Lag)의 의미는, 지연된 메시지 수(컨슈머가 아직 처리하지 못한 메시지 수)이다. 다른 말로, 컨슈머 랙(Consumer Lag)이라고도 부른다.

✅ 컨슈머 랙(Consumer Lag)은 언제 발생할까?

프로듀서의 메시지 생산량보다 컨슈머의 메시지 처리량이 작을 때 컨슈머 랙(Consumer Lag)이 발생한다. 메시지가 1초에 3개씩 생기는데 1초에 메시지를 1개씩 밖에 처리를 못한다면, 1초 당 2개의 메시지가 계속해서 쌓일 것이다.

실제 현업에서 서비스를 운영하다보면 갑작스럽게 요청이 증가할 때나 컨슈머에 장애가 생겼을 때 컨슈머 랙이 발생한다. 컨슈머 랙이 발생했다는 건 메시지 처리가 지연되고 있다는 뜻이다. 이메일 발송 작업을 예로 들면, 이메일을 보내기 위해 발송 버튼을 눌렀는데 처리되지 못한 메시지들이 많이 밀려있어 이메일이 발송되기까지 오랜 시간이 걸릴 수도 있다는 뜻이다.

따라서 컨슈머 랙이 시간이 갈수록 계속해서 늘어나고 있다면 빠르게 조치를 취해야 한다. 그렇지 않으면 사용자들 입장에서 요청을 보낸 내용이 처리되지 않아 서비스에 버그가 생겼다고 생각할 것이다. 빠르게 조치를 취하려면 컨슈머 랙을 지속적으로 모니터링 할 수 있어야 한다.

우선 CLI를 활용해 컨슈머 랙을 확인하는 방법을 먼저 알아보자.

✅ 컨슈머 랙(Consumer Lag) 확인하는 방법

컨슈머 랙(Consumer Lag)을 확인하기 위해 컨슈머 랙(Consumer Lag)을 의도적으로 만들자.

프로듀서 서버만 켜두고, 컨슈머 서버 종료하기

API 요청을 통해 토픽에 메시지 쌓이게 만들기

API 요청을 총 4번 보내서 메시지가 4개 쌓이도록 만들자.

CLI로 컨슈머 랙 확인하기

아래 명령어는 컨슈머 그룹의 세부 정보를 조회할 때 사용하던 명령어다. 컨슈머 랙을 확인할 때도 아래 명령어를 사용하면 된다.


# 컨슈머 그룹 세부 정보 조회하기
$ bin/kafka-consumer-groups.sh \
	--bootstrap-server localhost:9092 \
	--group email-send-group \
	--describe

LAG이라는 항목을 보자. 이전에 만들어뒀던 3개의 파티션이 존재하고, 각 파티션에 4개의 메시지가 분배되어 들어가있다. 그래서 1번 파티션에 처리되지 않은 2개의 메시지가 쌓여있고 2, 3번 파티션에 처리되지 않은 1개의 메시지가 쌓여있다는 걸 알 수 있다.

컨슈머 랙을 CLI로 확인하는 방법을 알아봤다. 하지만 우리가 매번 컴퓨터 앞에 앉아서 CLI로 컨슈머 랙이 생기는 지 안 생기는 지를 24시간 동안 체크할 수는 없다. 그러면 현업에서는 컨슈머 랙을 24시간동안 어떻게 체크하는 걸까?

✅ 현업에서의 컨슈머 랙(Consumer Lag) 체크 방법

외부 모니터링 툴 사용하기

외부 모니터링 툴을 사용해서 컨슈머 랙(Conusmer Lag)을 지속적으로 모니터링하면서, 특정 케이스에 대해 알림을 발송하게 만들어서 빠르게 대처할 수 있게 셋팅하는 편이다.

많이 사용하는 외부 모니터링 툴로는 이런 것들이 있다.

Datadog (유료)

Burrow (무료 오픈소스)

Prometheus, Grafana (무료 오픈소스)

매니지드 서비스(Managed Service)에서 제공하는 모니터링 기능 사용하기

현업에서는 카프카를 직접 구축해서 사용하지 않고, 클라우드의 카프카 서비스를 사용하는 경우도 많다. 대표적인 서비스로 AWS MSK와 Confluent Cloud가 있다. 이 서비스를 사용하면 자체적으로 컨슈머 랙(Consumer Lag)에 대한 모니터링 기능을 같이 제공하는 경우가 많다.