📚 블로그

657

메시지를 어디까지 읽었는 지 기억하고, 그 다음 메시지부터 처리하기 (Consumer Group, Offset)

✅ 메시지를 어디까지 읽었는 지 기억하고, 그 다음 메시지부터 처리하기 Kafka에서 컨슈머 그룹(Consumer Group)이라는 개념을 활용하면, 각 컨슈머 그룹(Consumer Group)이 어디까지 메시지를 읽었는지를 오프셋(offset)이라는

✅ 프로젝트 구조에 맞게 Kafka 셋팅하기 Kafka랑 연결되어 있는 Spring Boot 서버 종료하기 기존에 셋팅해뒀던 카프카 서버 3대를 백그라운드에서 실행시키기 기존에 생성되어 있던 토픽 삭제하기 토픽 생성하기 DLT 토픽 생성하기 3개의 k

✅ Kafka에 메시지 넣기 Producer가 Kafka로 메시지를 보내는 역할을 한다고 했다. Producer를 대신해 CLI 명령어를 활용해 Kafka에 메시지를 넣어보자. 토픽 생성 Kafka의 특정 토픽에 메시지 넣기 아무런 에러가 뜨지 않았다

✅ Kafka의 기본 구성 (Topic, Consumer, Producer) Kafka의 기본 구성을 간단하게 표현하자면 아래 그림과 같다. 프로듀서(Producer) : 카프카에 메시지(데이터)를 전달하는 주체 컨슈머(Consumer) : 카프카의

✅ 팔로워 파티션에 메시지를 넣으면 어떻게 될까? 이전 강의에서 리더 파티션과 팔로워 파티션을 설명할 때 아래와 같이 설명했다. 리더 파티션은 프로듀서나 컨슈머가 직접적으로 메시지를 쓰고 읽는 파티션이다. 반면에 팔로워 파티션은 프로듀서나 컨슈머가 직

AWS에서 계정을 가입한 이후로부터 1년 동안 프리티어 혜택을 받을 수 있다. 강의에서 진행하는 실습은 프리티어 혜택 내에서 진행할 예정이기 때문에 비용이 거의 나가지 않을 것이다. ✅ EC2 인스턴스 생성하기 EC2 페이지 들어가기 리전 선택하기 인

✅ Spring Boot로 Kafka에 메시지 넣는 코드 작성하기 위 그림과 같이 Spring Boot 서버를 활용해 Kafka에 메시지를 넣어보자. 사용자로부터 API 요청을 받을 Controller 만들기 Service 만들기 Kafka에 메시지를

✅ 특정 토픽의 파티션 수 조회하기 토픽에 설정된 파티션 수를 조회하려면 이전에 배웠던 특정 토픽의 세부 정보 조회를 할 때 사용하는 명령어를 입력하면 된다. # 특정 토픽 세부 정보 조회 $ bin/kafka-topics.sh \ --bootstr

✅ Kafka 서버 3대가 서로 잘 연동됐는 지 확인하기 Kafka 서버 3대가 서로 잘 연동됐는 지 확인하는 확실한 방법은, 아래와 같이 Kafka의 서버 개수만큼 토픽의 레플리케이션을 만들어보는 것이다. ✅ 실습 Producer, Consumer

✅ Consumer가 메시지를 한 번에 하나씩만 처리하는 현상 API 요청 여러 번 보내보기 Consumer 서버의 로그 확인하기