📚 블로그

727

Kafka의 기본 구성 (Topic, Consumer, Producer)

✅ Kafka의 기본 구성 (Topic, Consumer, Producer) Kafka의 기본 구성을 간단하게 표현하자면 아래 그림과 같다. 프로듀서(Producer) : 카프카에 메시지(데이터)를 전달하는 주체 컨슈머(Consumer) : 카프카의

✅ 팔로워 파티션에 메시지를 넣으면 어떻게 될까? 이전 강의에서 리더 파티션과 팔로워 파티션을 설명할 때 아래와 같이 설명했다. 리더 파티션은 프로듀서나 컨슈머가 직접적으로 메시지를 쓰고 읽는 파티션이다. 반면에 팔로워 파티션은 프로듀서나 컨슈머가 직

AWS에서 계정을 가입한 이후로부터 1년 동안 프리티어 혜택을 받을 수 있다. 강의에서 진행하는 실습은 프리티어 혜택 내에서 진행할 예정이기 때문에 비용이 거의 나가지 않을 것이다. ✅ EC2 인스턴스 생성하기 EC2 페이지 들어가기 리전 선택하기 인

✅ Spring Boot로 Kafka에 메시지 넣는 코드 작성하기 위 그림과 같이 Spring Boot 서버를 활용해 Kafka에 메시지를 넣어보자. 사용자로부터 API 요청을 받을 Controller 만들기 Service 만들기 Kafka에 메시지를

✅ 특정 토픽의 파티션 수 조회하기 토픽에 설정된 파티션 수를 조회하려면 이전에 배웠던 특정 토픽의 세부 정보 조회를 할 때 사용하는 명령어를 입력하면 된다. # 특정 토픽 세부 정보 조회 $ bin/kafka-topics.sh \ --bootstr

✅ Kafka 서버 3대가 서로 잘 연동됐는 지 확인하기 Kafka 서버 3대가 서로 잘 연동됐는 지 확인하는 확실한 방법은, 아래와 같이 Kafka의 서버 개수만큼 토픽의 레플리케이션을 만들어보는 것이다. ✅ 실습 Producer, Consumer

✅ Consumer가 메시지를 한 번에 하나씩만 처리하는 현상 API 요청 여러 번 보내보기 Consumer 서버의 로그 확인하기

✅ 깔끔한 테스트를 위해 기존에 생성되어 있는 Kafka 리소스 삭제하기 전체 토픽 조회하기 토픽 삭제하기 전체 컨슈머 그룹 조회하기 컨슈머 그룹 삭제하기 토픽 다시 생성하기 ✅ Spring Boot가 Kafka에 메시지 잘 넣는 지 테스트해보기 Sp

✅ Spring Boot로 하나의 컨슈머로 메시지 병렬적으로 처리하기 하나의 컨슈머 서버만 실행시키기 컨슈머 서버의 코드 수정하기 컨슈머 서버 재실행시키기 API 요청 보내면서 컨슈머 서버 로그 확인하기 ✅ 그림으로 이해하기 하나의 컨슈머 서버에서 하

✅ 여러 개의 파티션에 메시지가 골고루 들어가는 지 확인해보기 이전 강의에서 특정 토픽에 메시지를 넣으면 여러 파티션에 메시지가 적절하게 분산된다고 했다. 이 때, 메시지의 형태에 따라 파티션에 분배되는 방식이 달라진다. key가 포함되지 않은 메시지