왜 Apache Ozone이 빅 데이터에 선호되는 Object Store인가

Source: Dev.to

위의 링크에 있는 전체 텍스트를 제공해 주시면, 해당 내용을 한국어로 번역해 드리겠습니다. (코드 블록, URL 및 마크다운 형식은 그대로 유지됩니다.)

온‑프레미스 객체 스토리지로의 전환

데이터 환경에 구조화된 데이터, 반구조화된 데이터, 비구조화된 데이터가 모두 포함되고, 별도의 사일로를 피함으로써 비용 효율성을 추구한다면 모든 경로는 객체 스토리지로 이어집니다. 데이터를 사내에 보관해야 하는 요구가 있는 조직에게는 온‑프레미스 솔루션이 필수적입니다.

시장에서 MinIO나 Ceph와 같은 여러 옵션이 제공되지만, Hive, Spark, Trino, Impala와 같은 빅데이터 엔진을 활용하고 있다면 특히 최적화된 솔루션이 있습니다: Apache Ozone.

Apache Ozone의 기술 아키텍처는 여기에서 확인할 수 있습니다.

Source: Cloudera Ozone Overview Documentation

Apache Ozone의 주요 기술적 장점

강력한 일관성

Ozone은 Raft 합의 프로토콜을 통해 강력한 일관성을 제공합니다. 데이터는 쓰여지는 즉시 바로 보이며, 원자적 쓰기 지원이 보장됩니다. 반면, 다른 시스템의 S3 호환 인터페이스는 최종 일관성을 보일 수 있어, 덮어쓰기나 리스트 작업 시 지연이나 충돌이 발생할 수 있습니다.

네이티브 생태계 통합

Hadoop 생태계의 핵심 구성 요소로 설계된 Ozone은 Hive, Spark, Trino와 같은 주요 빅데이터 처리 엔진에 대한 즉시 사용 가능한 지원을 제공합니다. 최적화 세부 사항은 Hive 통합 문서를 참고하세요.

POSIX 호환성 및 파일 시스템 동작

OFS 레이어를 통해 Ozone은 POSIX와 유사한 동작과 디렉터리 계층 구조를 제공하며, Hadoop 기반 워크로드의 성능과 신뢰성에 중요한 네이티브 원자적 파일 이름 변경을 지원합니다.

완전한 Kerberos 지원

네이티브 Hadoop 호환성을 활용하여 Ozone은 엔터프라이즈 수준 보안을 위해 Kerberos와 완전히 통합됩니다. 이는 S3 전용 객체 스토어에서는 흔히 제공되지 않는 기능입니다.

기능 비교

Modern Data Lakehouse에 최적의 조합 (Apache Iceberg)

Apache Iceberg를 사용한 Data Lakehouse 아키텍처로 전환하고 있다면, Ozone이 뛰어난 스토리지 레이어로 돋보입니다.

원자 커밋

Iceberg는 동시 쓰기 중 데이터 손상을 방지하기 위해 원자 메타데이터 업데이트에 의존합니다. Ozone은 원자적 이름 바꾸기 기능을 통해 이를 기본적으로 지원합니다.

네이티브 잠금

Ozone은 메타데이터 불일치를 방지하기 위한 잠금 메커니즘을 제공하며, 반면 S3‑compatible 스토어는 종종 Zookeeper와 같은 외부 서비스를 필요로 합니다.

스냅샷 격리

Ozone의 아키텍처는 모든 복제본이 확인할 때까지 데이터를 커밋된 것으로 간주하지 않아, Iceberg의 불변 파일 모델이 요구하는 일관된 뷰를 유지합니다.

기능 비교

결론

조직이 Spark, Hive 또는 Trino를 사용하여 비정형 및 정형 데이터를 효과적으로 처리하려는 경우, Apache Ozone은 단순한 대안이 아니라 가장 신뢰할 수 있는 온‑프레미스 객체 스토어입니다. 이는 전통적인 파일 시스템과 현대적인 객체 스토리지 사이의 격차를 메우며, 고‑성능 데이터 레이크하우스 아키텍처에 이상적인 선택이 됩니다.