적정 파티션 개수 계산하는 방법

JSCODE 박재성

2025-12-06

✅ 적정 파티션 개수 계산하는 방법

다시 본론으로 돌아가서 파티션 수를 결정하는 방법에 대해 알아보자.

1. 몇 개의 쓰레드를 사용해야 처리량이 가장 높아지는 지 측정하기
Spring Boot 서버는 멀티 쓰레드 기반이기 때문에 동시에 여러 요청을 처리할 수 있다. 이 때, 몇 개의 쓰레드를 사용해야 요청을 가장 많이 처리할 수 있는 지 측정해야 한다.
** 부하 테스트에 대한 개념을 알고 있어야 한다. 만약 모른다면 ‘대규모 트래픽 처리를 위한 부하테스트 입문/실전’ 강의를 수강할 것을 추천한다.
→ 100개의 쓰레드를 활용하는 게 가장 효율적이라고 측정했다고 가정하자.
 

2. 하나의 컨슈머 서버가 처리할 수 있는 최대 처리량(Throughput)을 알아내기
컨슈머 서버가 적절한 쓰레드 개수를 기반으로 요청을 처리한다고 했을 때, 최대 처리량(Throughput)이 얼마나 되는 지 측정해야 한다.
→ 하나의 컨슈머 서버(100개의 쓰레드를 활용)가 1초에 처리할 수 있는 처리량(Throughput)이 30이라는 걸 알아냈다고 가정하자. 즉, 1개의 쓰레드가 1초당 0.3개의 요청을 처리한다는 뜻이다.
 

3. 프로듀서가 보내는 평균 메시지량 알아내기
프로듀서가 보내는 메시지라 함은 사용자가 API 요청을 얼마나 보내는 지와 같은 의미이다. 사용자가 1초당 평균적으로 얼마나 요청을 보내는 지를 측정하거나 예상해야 한다.
→ 사용자가 평균적으로 1초당 100개의 메일을 보낸다고 가정하자.
 

4. 처리가 지연되지 않는 선에서 파티션 개수 계산하기
처리가 지연되지 않으려면 프로듀서에서 들어오는 메시지의 수보다 더 빨리 처리할 수 있어야 한다. 그리고 평균 메시지량이 어느 정도 초과할 것도 예상해서 계산해야 한다.
→ 평균 메시지량이 어느 정도 초과할 것을 예상해서 1초당 120개 정도를 처리할 수 있게 만드려면, 아래 공식에 의해 적정 파티션 수는 400개라는 걸 알 수 있다.
프로듀서가 보내는 메시지량 ≤ 하나의 쓰레드가 처리하는 메시지량 x 파티션 수
120 = 0.3 x 400