📊 AWS S3 + AWS Glue + Athena + Grafana — 엔드‑투‑엔드 분석 프로젝트

Source: Dev.to

개요

이 프로젝트에서는 AWS 서비스를 사용하여 완전한 분석 파이프라인을 구축했습니다:

• S3에서 CSV 파일 읽기
• AWS Glue를 사용해 테이블로 변환
• Amazon Athena로 데이터 쿼리
• Grafana에서 결과 시각화

이 워크플로우는 클라우드 및 DevOps 환경에서 일반적으로 사용됩니다.

아키텍처 다이어그램

(여기에 아키텍처 다이어그램 이미지 삽입)

사용 서비스

단계 1 — CSV 데이터를 S3에 업로드

S3 버킷에 폴더 구조를 만들고 AWS CLI를 사용해 CSV 파일을 업로드합니다. 예:

aws s3 cp ./data/ s3://my-bucket/raw-data/ --recursive

단계 2 — AWS Glue 크롤러 생성

다음과 같이 Glue 크롤러를 구성합니다:

• CSV 파일이 있는 S3 폴더 지정
• CSV 스키마를 자동으로 감지
• AWS Glue Data Catalog에 테이블 생성

크롤러가 생성하는 항목:

• 데이터베이스 이름: s3_log_db
• 테이블 이름: s3_athena_analytics_abhishek31

크롤링이 완료되면 Data Catalog에서 생성된 스키마를 검증합니다.

단계 3 — Athena에서 데이터 쿼리

크롤러가 만든 테이블에 대해 SQL 쿼리를 실행합니다. 예시:

SELECT 
    series_reference,
    period,
    series_title_2,
    value
FROM s3_log_db.s3_athena_analytics_abhishek31
ORDER BY series_title_2 ASC;

이 쿼리를 통해 데이터가 올바르게 구조화되고 접근 가능함을 확인할 수 있습니다.

단계 4 — Grafana 데이터 소스 구성

1. Grafana에서 새 데이터 소스를 추가하고 Amazon Athena를 선택합니다.
2. 다음 설정을 입력합니다:
   • AWS 리전
   • 쿼리 결과용 S3 버킷
   • 워크그룹 (해당되는 경우)
3. 연결을 테스트합니다 – 성공해야 합니다.

단계 5 — Grafana에서 대시보드 구축

원시 SQL 쿼리(JSON 가져오기 없이)를 사용해 다음과 같은 시각화를 만듭니다:

• 연령대 분포 막대 차트
• 기간별 값의 시계열 분석
• 성별 인구 추세
• 연도별 총 인구

프로젝트 폴더 구조

project/
├─ data/                # Raw CSV files
├─ glue/                # Crawler configuration (JSON/YAML)
├─ athena/              # Saved query files
└─ grafana/             # Dashboard JSON exports (optional)

주요 학습 내용

• AWS Glue를 이용한 자동 스키마 감지는 데이터 온보딩을 간소화합니다.
• Athena는 S3에서 직접 서버리스이며 비용 효율적인 SQL 쿼리를 제공합니다.
• Grafana는 Athena 쿼리 결과를 기본적으로 시각화하여 실시간 대시보드를 가능하게 합니다.

GitHub 저장소

https://github.com/abhikorde31/aws-s3-athena-grafana-analytics

결론

이 프로젝트는 AWS S3, Glue, Athena, Grafana를 사용해 프로덕션 수준의 서버리스 분석 파이프라인을 구축하는 방법을 보여줍니다. 필요에 따라 AWS Lambda를 통한 실시간 업데이트, Terraform을 이용한 인프라 코드화, 또는 추가 시각화 등으로 확장할 수 있습니다.