EMR, Spark, RedShift, Athena, Kinesis, Glue, X-Ray, CloudWatch (★★☆)

← 블로그 목록으로 돌아가기

author

JSCODE 박재성

✅ EMR (Elastic MapReduce)

EMR은 빅데이터 처리를 위한 컴퓨팅 서비스이다.

✅ Spark

Spark는 대규모 데이터 처리와 분석을 위한 오픈소스이다.

[특징]

대규모 데이터를 여러 서버에서 동시에 처리할 수 있는 고속 엔진이다.

실시간 분석에는 적합하지 않다.

✅ RedShift

AWS RedShift는 대규모 데이터를 빠르게 분석하기 위한 DB 서비스이다.

✅ Athena

Athena는 ‘S3’에 있는 데이터에 바로 SQL 쿼리를 날릴 수 있는 서비스이다. S3에 저장된 데이터를 즉시 분석할 수 있다.

[암기 Tip]

이 서비스의 이름은 그리스 신화의 지혜의 여신인 아테나(Athena)에서 유래했다. ‘지혜를 활용해 S3의 수많은 데이터에서 쿼리를 날려 원하는 데이터를 찾을 수 있다’고 기억하자.

✅ Performance Insight

Performance Insight는 DB의 성능을 모니터링 해주는 서비스이다.

✅ CloudWatch

CloudWatch는 AWS 리소스와 애플리케이션을 ‘모니터링, 로그’로 관찰하는 서비스이다.

✅ Glue

AWS Glue는 완전 관리형 ETL 서비스이다. ETL(Extract, Tarnsform, Load)이란 ‘데이터 추출, 변환, 로드’를 뜻한다. 주의할 점은 Glue는 데이터 분석 기능은 따로 가지고 있지 않다.

✅ X-Ray

X-Ray는 인프라 위에서 어떤 서비스들을 거쳐서 요청이 처리되는 지 추적해서 시각화해주는 서비스이다. 복잡한 인프라 구성이나 마이크로서비스에서 요청이 어떤 식으로 흘러가는 지 파악하기 위해 주로 사용한다.

✅ Data Firehose

Data Firehose는 실시간 스트림 데이터를 특정 서비스에 안정적으로 전달하는 서비스이다.

✅ Kinesis Data Streams

Kinesis Data Streams는 실시간 스트림 데이터를 끊김없이 수집하는 서비스이다.

✅ Managed Service for Apache Flink

Amazon Managed Service for Apache Flink는 실시간 스트림 데이터를 처리/분석하는 서비스이다.

✅ Data Firehose vs Kinesis Data Streams vs Managed Service for Apache Flink

[공통점]

실시간 스트림 데이터를 처리하는 서비스

[차이점]

Data Firehose : 실시간 데이터 전송/배달

Kinesis Data Streams : 실시간 데이터 수집 (스트림 데이터 저장소 역할)

Managed Service for Apache Flink : 실시간 데이터 처리/분석