[실습] Spring Boot로 재시도조차 실패한 메시지 사후 처리하기

JSCODE 박재성

2025-12-06

✅ DLT에 저장된 메시지를 사후 처리하는 방식

1. DLT에 저장된 실패 메시지를 로그 시스템에 전송해 장애 원인을 추적할 수 있도록 한다.

2. DLT에 메시지가 저장되자마자 수동으로 대처할 수 있게 알림을 설정한다.

3. 알림을 받은 관리자는 로그에 쌓인 내용을 보고 장애 원인을 분석하고, 그에 맞게 메시지를 수동으로 처리한다.

1. 메시지를 원래 토픽으로 직접 다시 보내기
• 장애가 일시적이었고 지금은 해결된 경우 (ex. 외부 메일 서버가 다운되어 있었는데 지금은 정상 상태인 경우)
 

2. 메시지 폐기하기
• 메시지의 내용을 처리하려고 봤는데, 영구적으로 처리할 수 없는 메시지(ex. 탈퇴한 사용자, 형식 오류)일 수도 있다. 그럴 때는 메시지 자체를 폐기한다. 단, 폐기할 때도 영구적으로 폐기하지 않고 혹시 모를 상황에 대비해 로그로 남겨둔다.
 

3. (사후 처리) 잘못된 메시지 내용이 Kafka에 들어가지 않게 Producer의 검증 로직 보완하기
• 잘못된 메시지는 최대한 Producer에서 검증할 수 있으면 검증해서 걸러야 한다. 이렇게 되면 잘못된 메시지가 kafka에 들어가지 않게 되고, 사용자 입장에서도 잘못된 요청 값에 대해 실패의 응답을 받을 수 있기 때문에 대처해야 할 에러가 확연히 줄어든다.
 

위 내용을 참고해서 실제 코드로 어떻게 작성해서 처리하는 지 살펴보자.

✅ DLT에 저장된 메시지 처리하기

1. DLT에 저장된 메시지 처리하는 Consumer 로직 작성하기
EmailSendDltConsumer

@Service
public class EmailSendDltConsumer {
  @KafkaListener(
      topics = "email.send.dlt",
      groupId = "email-send-dlt-group"
  )
  public void consume(String message) {

    // ...로그 시스템에 전송하는 로직은 생략...
    System.out.println("로그 시스템에 전송 : " + message);
    
    // ...Slack에 알림 발송하는 로직은 생략...
    System.out.println("Slack에 알림 발송");
  }
}

Slack과 같이 알림을 발송하게 만들어놓으면 DLT로 빠진 메시지를 바로 인식할 수 있게 된다. 그러고 로그 시스템에 저장된 로그를 확인하면서 문제의 원인을 파악해 그에 맞게 메시지를 처리하면 된다.
 

2. 서버 재시작해서 테스트해보기



이전에 email.send.dlt 토픽으로 들어간 메시지가 처리된 걸 확인할 수 있다. 추가로 API 요청을 보내서 테스트를 더 해보자.
 





Consumer가 토픽에 들어있는 메시지를 처리하다가 실패하면서, 재시도해서 메시지를 처리하려 했으나 결국 총 5번의 실패로 인해 DLT 토픽으로 메시지를 전달한다. 그래서 DLT 토픽을 처리하는 Consumer가 해당 실패 메시지를 받아 로그 시스템에 전송하고 Slack에 알림까지 발송한 걸 확인할 수 있다.