당신의 데이터는 어디에 있나요? 현대 데이터 에코시스템 해독

Source: Dev.to

Source: …

1. 데이터베이스

사업을 막 시작했다고 상상해 보세요. 고객이 제품을 구매하거나, 비밀번호를 변경하거나, 지원 티켓을 제출할 때마다 일일 운영을 기록할 시스템이 필요합니다. 이것이 표준 데이터베이스의 역할입니다.

데이터베이스 종류

핵심 기능

1. ACID 특성 – 트랜잭션 중 절대적인 데이터 무결성을 보장합니다.

   • Atomicity – 트랜잭션은 “전부 혹은 전무”입니다.
   • Consistency – 데이터가 사용자 정의 규칙을 깨지 않고 하나의 유효한 상태에서 다른 유효한 상태로 이동합니다.
   • Isolation – 동시에 실행되는 트랜잭션이 서로 방해하지 않습니다.
   • Durability – 커밋된 변경 사항은 장애가 발생해도 유지됩니다.

2. 쿼리 언어 – 대부분의 데이터베이스는 데이터를 검색, 필터링, 집계 또는 업데이트하기 위해 SQL과 같은 언어를 제공합니다.

3. 인덱싱 – 교과서 뒤쪽의 색인처럼, 인덱스는 엔진이 전체 테이블을 스캔하지 않고도 행을 즉시 찾을 수 있게 해 줍니다.

4. 정규화 – 큰 데이터 집합을 더 작고 상호 연관된 테이블로 나누어 중복 정보를 없애고 중복성을 줄입니다.

5. 데이터 백업 및 복구 – 하드웨어 고장, 소프트웨어 버그, 예기치 않은 다운타임에 대비한 견고한 메커니즘을 제공합니다.

6. 데이터 모델링 – 데이터베이스 설계는 세 단계로 진행됩니다.

   • 개념 모델링 – 고수준 데이터 관계.
   • 논리 모델링 – 기술적 세부 사항(속성, 데이터 타입).
   • 물리 모델링 – DBMS에 구현되는 실제 스키마.

데이터베이스 활용 사례

데이터베이스는 실시간 데이터 처리와 고거래량이 필요할 때 뛰어납니다.

2. 데이터 웨어하우스

데이터베이스는 실시간으로 레코드를 저장하는 데는 최적이지만, 오늘의 매출을 5년 전과 비교해야 한다면 어떻게 할까요? 바로 데이터 웨어하우스가 필요한 순간입니다. 실시간 트랜잭션을 처리하는 대신, 웨어하우스는 여러 소스에서 온 구조화된 역사 데이터를 대량으로 저장하여 조직이 장기적인 추세를 파악하고 데이터 기반 의사결정을 내릴 수 있도록 돕습니다.

핵심 특성

• 중앙 집중식 데이터 – 다수 시스템의 정보를 통합해 분석가에게 포괄적이고 고수준의 뷰를 제공합니다.
• 시간‑가변 데이터 – 과거 레코드를 보존하여 기간별 분석 및 추세 식별이 가능하게 합니다.
• 비정규화 아키텍처 – 테이블 수를 줄이고 관계를 단순화해 분석 쿼리의 읽기 성능을 향상시킵니다.
• 집계된 데이터 – 다양한 세분화 수준으로 미리 요약되어 있어 빠른 개요 제공이나 심층 분석이 가능합니다.
• 쿼리 최적화 – 인덱싱, 데이터 세분화, 물리화된 뷰 등 다양한 기법을 활용해 방대한 분석 워크로드를 효율적으로 처리합니다.
• BI 통합 – 비즈니스 인텔리전스 플랫폼과 기본적으로 연결되어 대시보드, 보고서, 시각화를 지원합니다.

데이터 웨어하우스 활용 사례

Examples: Amazon Redshift, Google BigQuery, Snowflake.

3. 데이터 레이크

데이터 웨어하우스는 매우 체계적이지만, 그 경직성은 양날의 검이 될 수 있습니다. 깨끗하고 구조화된 데이터를 보장하지만 대규모 비정형 또는 반정형 데이터셋(예: 원시 웹사이트 클릭 로그, JSON 파일)에는 어려움을 겪습니다. 데이터가 너무 크거나 비정형이라 웨어하우스에 적합하지 않을 경우, 데이터 레이크에 저장됩니다.

데이터 레이크가 제공하는 것

• 다양한 포맷 지원 – 데이터를 원시 형태(JSON, Parquet, Avro, CSV, 이미지, 비디오 등)로 저장합니다.
• 확장성 – 사전 정의된 스키마 없이 페타바이트 규모의 데이터를 처리합니다.
• 실시간 분석 준비 – 원시 데이터에 직접 머신러닝 파이프라인 및 스트리밍 분석을 적용할 수 있습니다.

요컨대, 데이터 레이크는 “원자재” 저장소이고, 데이터 웨어하우스는 “정제된 제품” 저장소이며, 데이터베이스는 일상 운영을 구동하는 “트랜잭션 엔진”입니다.

빠른 요약

이러한 차이를 이해하면 데이터 엔지니어링에서 마주하는 각 문제에 맞는 저장소를 선택하는 데 도움이 됩니다. 즐거운 구축 되세요!

Data Lake vs. Data Warehouse vs. Data Mart vs. Data Lakehouse

Data Lake

• Purpose: 원시 데이터, 비정형 또는 반정형 데이터를 대규모로 저장합니다.
• Horizontal scalability: Amazon S3, Azure Blob Storage, Google Cloud Storage와 같은 비용 효율적인 스토리지 솔루션을 사용하여 데이터 양이 증가함에 따라 원활하게 확장할 수 있습니다.

Examples of data lakes:

• AWS S3
• Azure Data Lake Storage Gen2
• Google Cloud Storage

Data Warehouse

가상의 회사가 성장함에 따라 데이터 웨어하우스가 방대해집니다. 마케팅 팀은 이제 재무, 인사, 엔지니어링 데이터 속에서 필요한 특정 캠페인 메트릭을 찾는 데 너무 오래 걸린다고 불평합니다.

Solution: Data Mart – 마케팅이나 재무와 같이 단일 비즈니스 유닛의 특정 요구를 충족하도록 설계된 전문화된 소규모 데이터베이스입니다. 주요 목표는 조직의 방대한 데이터 풀을 고도로 집중된, 관리하기 쉬운 저장소로 필터링하여 빠른 접근을 가능하게 하는 것입니다.

데이터 마트 유형

데이터 레이크 & 웨어하우스에서 데이터 레이크하우스로

역사적으로 기업은 Data Lake(원시, 저비용 머신러닝 저장용)와 Data Warehouse(빠르고 구조화된 BI 보고용)를 모두 유지해야 했습니다. 두 시스템 간에 데이터를 이동하는 것은 어려우며 비용이 많이 들었습니다.

데이터 레이크하우스

데이터 레이크하우스는 데이터 레이크의 방대한 비용 효율적인 저장소와 웨어하우스의 강력한 데이터 관리 기능을 결합한 최신 하이브리드 아키텍처입니다. 원시 데이터 저장과 고속 분석 사이의 격차를 메우면서 레이크하우스는 동시에 다음을 지원할 수 있습니다:

• 비구조화 머신러닝 워크로드
• 구조화된 비즈니스 인텔리전스(BI) 워크플로

주요 특징

• ACID 준수 – 엄격한 데이터 일관성과 무결성을 유지하기 위해 신뢰할 수 있는 트랜잭션을 보장합니다.
• 유연한 스키마 – schema‑on‑write와 schema‑on‑read를 모두 지원하여 엔지니어가 원시 데이터를 수집할 때 유연성을 제공하면서도 분석가에게는 견고하고 신뢰할 수 있는 구조를 제공합니다.
• 네이티브 BI 통합 – Tableau, Power BI, Looker와 같은 인기 BI 플랫폼과 원활하게 연결되어 의사결정자가 데이터를 직접 소스에서 시각화할 수 있게 합니다.

Final Thoughts

각 레이어—Data Lake, Data Warehouse, Data Mart, 그리고 Data Lakehouse—를 이해하고 활용함으로써 조직은 유연하고 확장 가능하며 비용 효율적인 분석 생태계를 구축할 수 있습니다.