OLTP와 OLAP: 기업 데이터 처리 시스템

Source: Dev.to

번역할 텍스트가 제공되지 않았습니다. 번역이 필요한 본문을 알려주시면 한국어로 번역해 드리겠습니다.

기업 환경에서의 데이터 처리

기업 환경에서의 데이터 처리는 두 가지 주요 패러다임, OLTP(온라인 트랜잭션 처리)와 OLAP(온라인 분석 처리)에 기반합니다. 이 시스템들은 데이터와 작업하지만, 설계 목표와 아키텍처, 기능이 서로 다릅니다. 이들의 차이점, 적용 사례 및 데이터 인프라에 어떻게 통합되는지를 이해하는 것은 기업 정보 시스템을 설계하는 데 필수적입니다.

OLTP: 온라인 트랜잭션 처리

정의

OLTP는 애플리케이션 중심의 트랜잭션을 관리하도록 설계된 데이터 처리 유형입니다. 주요 기능은 조직의 일상 업무를 지원하는 것으로, 실시간으로 트랜잭션을 처리하며 높은 가용성과 일관성을 제공합니다.

기술적 특징

• 볼륨: 짧은 트랜잭션이 다수 발생.
• 전형적인 작업: INSERT, UPDATE 및 DELETE가 소수의 레코드에 대해 수행됨.
• 정규화: 중복을 최소화하고 참조 무결성을 유지하기 위해 정규화된 데이터베이스(보통 3NF) 사용.
• 성능: 밀리초 단위의 응답 시간; 빠른 읽기·쓰기 최적화.
• ACID: 원자성, 일관성, 격리성, 지속성을 보장.
• 동시성: 수백에서 수천 명의 사용자가 동시에 접근.
• 구조: 정규화된 관계형 테이블; 복잡한 쿼리에서는 다중 JOIN이 필요할 수 있음.

사용 사례

• 은행 시스템: 금융 트랜잭션 처리, 이체, ATM 인출 및 잔액 업데이트.
• 전자상거래: 카탈로그 관리, 주문 처리, 재고 업데이트 및 장바구니 관리.
• 예약 시스템: 호텔, 항공사, 이벤트 등 실시간 가용성 및 예약 처리.
• ERP(Enterprise Resource Planning): 회계, 인사, 공급망 및 제조 관리.

OLTP 기술 예시

PostgreSQL, MySQL, Oracle Database, Microsoft SQL Server, MongoDB(트랜잭션형 NoSQL 사례).

OLAP: Online Analytical Processing

정의

OLAP은 대용량 데이터에 대한 복잡한 분석 쿼리를 위해 설계된 처리 접근 방식입니다. 기업 정보의 다차원 분석을 용이하게 하여 전략적 의사결정을 지원하는 것이 목적입니다.

기술적 특성

• 최적화: 읽기 집약적인 작업; 쓰기는 드물게(주로 배치 프로세스) 발생합니다.
• 쿼리: 수백만 건의 레코드에 대한 집계, 그룹화 및 분석.
• 차원 모델링: 복잡한 JOIN이 필요 없는 비정규화 스키마(스타 스키마 star schema 또는 스노우플레이크 스키마 snowflake schema).
• 데이터 조직: 차원(시간, 지리, 제품, 고객) 및 측정값(매출, 수익, 수량).
• 가속 기술: 사전 집계 및 뷰 물리화.
• 응답 시간: 복잡도와 데이터 규모에 따라 초에서 분 수준.

사용 사례

• 비즈니스 인텔리전스: 경영 보고서, 대시보드, KPI 분석.
• 재무 분석: 시나리오 모델링, 예측, 수익성 및 예산 계획.
• 판매 분석: 트렌드, 베스트셀러 제품, 고객 세분화, 마케팅 캠페인 분석.
• 데이터 마이닝: 패턴 탐색, 고객 클러스터링, 장바구니 분석, 이상 탐지.

OLAP 기술 예시

Amazon Redshift, Google BigQuery, Snowflake, Microsoft Azure Synapse Analytics, Apache Druid.

기술 비교

통합: OLTP → OLAP 파이프라인

기업 데이터 아키텍처

현대적인 데이터 아키텍처에서는 OLTP와 OLAP가 통합된 생태계의 보완적인 구성 요소로 작동합니다. 일반적인 흐름은 다음과 같습니다:

1. 운영 계층 (OLTP)

   • 트랜잭션 시스템은 기업 운영 데이터를 실시간으로 캡처합니다.
   • 개별 레코드에 대한 빠른 쓰기와 읽기에 최적화된 데이터베이스입니다.

2. 통합 계층 (ETL / ELT)

   • 여러 OLTP 소스에서 데이터를 ETL(Extract, Transform, Load) 또는 ELT(Extract, Load, Transform) 프로세스로 추출합니다.
   • 이 과정에서 데이터가 정제·변환·통합됩니다.

3. 분석 저장소 계층 (Data Warehouse)

   • 변환된 데이터가 OLAP Data Warehouse에 적재되어, 분석에 최적화된 차원 구조로 조직됩니다.

4. 소비 계층 (BI / Analítica)

   • Business Intelligence, 보고 및 데이터 사이언스 도구가 Data Warehouse의 데이터를 활용해 인사이트를 도출하고 의사결정을 지원합니다.

요약

• OLTP는 운영 트랜잭션의 속도와 일관성에 중점을 둡니다.
• OLAP는 방대한 역사적 데이터에 대한 분석 쿼리의 속도에 중점을 둡니다.
• ETL/ELT 파이프라인을 통한 통합으로 트랜잭션 데이터가 분석 저장소에 공급되어, 완전하고 일관된 데이터 생태계를 구축합니다.

프레젠테이션

비즈니스 인텔리전스 및 데이터 시각화 도구는 데이터 웨어하우스를 조회하여 보고서, 대시보드 및 분석을 생성합니다.

ETL 프로세스

ETL 프로세스는 OLTP와 OLAP 사이의 다리 역할을 합니다:

Source: …

구현 예시

OLTP 시스템

PostgreSQL 데이터베이스가 정규화된 테이블로 각 판매 트랜잭션을 저장합니다:

-- 주요 테이블
transactions   -- 각 판매 상세
customers      -- 고객 정보
products       -- 제품 카탈로그
stores         -- 각 매장 데이터

각 판매는 즉시 전체 상세와 함께 기록됩니다.

ETL 프로세스

예를 들어 Apache Airflow 로 스케줄링된 파이프라인이 다음을 수행합니다:

1. 추출: 당일 트랜잭션을 일별로 추출합니다.
2. 집계: 고객 및 제품 정보를 결합합니다.
3. 계산: 마진 등 메트릭을 계산합니다.
4. 변환: 차원 스키마로 변환합니다.

OLAP 데이터 웨어하우스

Snowflake 가 스타 스키마 로 데이터를 저장합니다:

• 차원 테이블

  • dim_customer
  • dim_product
  • dim_time
  • dim_store

• 사실 테이블

  • fact_sales (메트릭 및 차원에 대한 외래키 포함)

분석

분석가들은 다음과 같은 쿼리를 실행할 수 있습니다:

“지난 3년간 제품 카테고리, 지역 및 분기별 총 매출”

이 쿼리는 OLTP 시스템에서는 비효율적이지만, OLAP 데이터 웨어하우스에서는 빠르게 수행됩니다.

설계 고려사항

• 워크로드 분리
  OLTP와 OLAP를 분리하면 무거운 분석 쿼리가 핵심 트랜잭션 작업의 성능에 영향을 주는 것을 방지합니다.

• 데이터 지연
  비즈니스 요구에 따라 데이터 웨어하우스 업데이트 빈도를 결정합니다.

  • 실시간 시나리오 → 스트리밍 ETL.
  • 긴급도가 낮은 시나리오 → 일일 또는 주간 업데이트.

• 데이터 거버넌스
  양쪽 계층에 데이터 품질, 보안 및 규정 준수 정책을 구현합니다.

• 확장성

  • OLTP: 트랜잭션 피크를 처리하기 위해 수직 및 수평 확장이 필요합니다.
  • OLAP: 분산 아키텍처와 대규모 병렬 처리(MPP)의 이점을 누립니다.