부하 테스트에서 서비스가 1초당 처리할 수 있는 트래픽 양을 보고 Throughput이라고 부른다. 단위는 TPS(Transaction Per Seconds, 1초당 처리한 트랜잭션의 수)를 많이 활용한다. 만약 내가 만든 서비스가 1초에 최대 100개의 API 요청을 처리할 수 있다면, 이 서비스의 Throughput은 100 TPS라고 얘기한다.
** 참고) 현업에서는 ‘처리량’이라고 잘 얘기하지 않고 ‘Throughput(쓰루풋)’이라고 많이 얘기하는 편이다.
** 참고) TPS(Transaction Per Seconds) ≒ RPS(Request Per Second)
→ 이 2가지 단위는 같다고 생각해도 무방하다.
✅ 지연 시간(Latency)이란?
부하 테스트에서의 Latency는 요청에 대한 응답 시간을 의미한다. 만약 내가 만든 서비스에 부하 테스트를 했을 때 평균 응답 시간이 2.5초일 경우, 평균 Latency가 2.5초라고 얘기한다. 조금 더 쉽게 해석하자면 하나의 API에 요청을 보냈을 때 응답받기까지의 시간이 2.5초 정도 걸린다는 뜻이다.
** 참고) 현업에서는 ‘지연 시간’이라고 잘 얘기하지 않고 ‘Latency(레이턴시)’이라고 많이 얘기하는 편이다.
✅ 처리량(Throughput), 지연 시간(Latency)
Throughput과 Latency를 조금 더 직관적으로 이해하려면 고속 도로를 떠올리면 쉽다.
