software

Apache 개발자 리스트 요약: Iceberg, Polaris, Arrow & Parquet (2025년 12월 9일 – 12월 15일)

발행: (2025년 12월 16일 오전 06:47 GMT+9)
9 min read
원문: Dev.to

Source: Dev.to

Resources

Get Data Lakehouse Books

Lakehouse Community

Apache Iceberg

Patch Release 1.10.1 in Progress

Iceberg은 1.10.1 패치 릴리스를 준비 중입니다. 초기 RC0 투표는 특정 모듈 JAR에서 라이선스 문제가 발견돼 취소되었습니다. 새로운 릴리스 후보(RC1)가 12월 14일에 제안되었으며 현재 공식 1.10.1 릴리스 후보로 투표 중입니다. 이번 마이너 버전은 1.10.x 브랜치에 대한 중요한 버그 수정 및 안정성 개선을 제공하는 것을 목표로 합니다.

Impact – 승인되면 1.10.1 업데이트는 프로덕션 사용자에게 중요한 수정(예: 의존성 라이선스 교정 및 런타임 안정성 조정)을 제공하여 최신 Iceberg 1.x 라인에서 보다 원활한 경험을 보장합니다.

December Board Report & Community Updates

Iceberg 팀은 dev 메일링 리스트에 12월 이사회 보고서 초안을 공유했습니다. 분기별 보고서는 최근 진행 상황(예: 진행 중인 1.10.1 릴리스와 Format V4 설계 작업)과 커뮤니티 성장(지난 분기에 새 커미터와 PMC 멤버가 다수 추가됨)을 요약합니다. 이 보고서는 Apache 리더십이 Iceberg의 건강 상태와 모멘텀을 감독하는 데 도움을 줍니다.

Iceberg Summit 2026 – Call for Papers

[ANNOUNCE] inaugural Apache Iceberg Summit 2026에 대한 발표 제출을 초대합니다. 논문 모집(CFP)은 2026 년 1 월 18일까지 진행됩니다. 이번 컨퍼런스는 프로젝트의 성장하는 생태계와 사용자 커뮤니티를 조명할 예정입니다.

Why it matters – 독립적인 Iceberg Summit은 프로젝트의 성숙도와 폭넓은 관심을 보여주며, 실제 사용 사례, 통합 사례 및 모범 사례를 논의할 포럼을 제공합니다.

Multi‑Table Transactions Planning

다중 테이블에 걸친 트랜잭션 지원을 위한 설계 논의가 계속되고 있습니다. 기여자들은 “Interactive Commit” API를 탐색 중이며, 이를 통해 테이블 간 원자적 변경을 조정할 수 있습니다(복잡한 ETL 또는 스키마 진화 시나리오에 유용). 제안서를 다듬고 피드백을 수집하기 위해 12월 18일에 커뮤니티 동기화 콜이 예정되었습니다.

Use case – 구현될 경우, 이 기능은 여러 Iceberg 테이블에 걸친 원자적 커밋을 가능하게 합니다(예: 사실 테이블과 파생 집계 테이블을 동시에 업데이트)하여 전체‑또는‑없음 데이터 워크플로우의 일관성을 유지합니다.

Apache Polaris

1.3.0‑incubating Released

Polaris(incubating)는 릴리스 후보에 대한 커뮤니티 투표를 통과한 뒤 공식적으로 1.3.0‑incubating 버전을 배포했습니다. 주요 내용은 다음과 같습니다:

  • Generic Table GA – “generic table” 기능이 이제 프로덕션 수준으로 제공되어 Polaris가 외부 테이블 포맷(예: Apache Hudi, Delta Lake)을 안정적으로 카탈로그화할 수 있습니다.
  • Cloud Integration Improvements – 클라우드 환경(AWS, Azure)용 통합 테스트와 수정이 강화돼 신뢰성이 향상되었습니다.
  • Bug Fixes – 핵심 서비스에 대한 다수의 안정성 개선이 포함되었습니다.

인큐베이팅 프로젝트로서 Polaris는 IPMC 승인을 받아 졸업에 한 걸음 더 다가섰습니다.

New Backend: Google Spanner Support Proposed

Polaris의 카탈로그/스토리지 레이어에 Google Cloud Spanner를 백엔드 옵션으로 추가하자는 논의가 시작되었습니다. 제안서에서는 Spanner를 메타데이터 저장소 또는 트랜잭션 백엔드로 통합하는 방안을 제시합니다.

Benefit – Spanner 통합은 Hadoop/Hive 메타스토어를 넘어선 멀티‑클라우드 스토리지를 확대하여 GCP 환경에서의 배포를 간소화하고 더 다양한 데이터 저장소를 지원합니다.

Incubator Report & Community Growth

Polaris는 12월 Incubator report를 준비해 최근 진행 상황과 커뮤니티 모멘텀을 강조했습니다. 보고서는 성공적인 1.3.0 릴리스, 향상된 릴리스 자동화 등을 언급하며 멘토가 졸업 준비 상태를 추적하는 데 도움을 줍니다.

  • Leadership update – Yong Zheng이 Polaris PPMC에 합류해 기여자 참여가 확대되고 있음을 보여줍니다.
  • Community activities – 정기 동기화 회의가 지속되고(예: 12월 11일) 12월 16일에 가상 개발 스프린트가 예정되어 온보딩, 문서화, 오픈 이슈 해결에 집중합니다.

Apache Arrow

Arrow Go 18.5.0 Released

Arrow Go 서브프로젝트가 18.5.0 버전을 릴리스했습니다. 이번 마이너 업데이트는 17명의 기여자가 만든 38개의 커밋으로 구성되었습니다. 투표는 무난히 통과됐으며, 12월 12일에 릴리스가 발표되었습니다.

Why it matters – Go 구현은 경량 분석 및 ETL 파이프라인에서 널리 사용됩니다. 정기적인 업데이트는 Arrow의 Go 지원을 C++, Rust, Java 구현과 동등하게 유지해 다언어 일관성을 보장합니다.

Release vote thread

Arrow Java 20.0.0 – Delayed for IP Clearance

제안된 Arrow Java 20.0.0 릴리스는 제3자 기여와 관련된 IP 클리어런스 요구 사항으로 인해 일시 중단되었습니다. 커뮤니티는 원칙적으로 릴리스를 지지하지만, Apache 정책에 따라 새로운 의존성을 포함하기 전에 공식 검토가 필요합니다.

Takeaway – 이는 ASF가 라이선스 투명성과 준수에 전념하고 있음을 보여줍니다. 클리어런스가 승인되면 Arrow Java 20.0.0은 진행될 예정이며, Java 기반 분석 엔진에 새로운 기능과 성능 최적화를 제공할 것입니다.

New TimestampWithOffset Type Approved

Arrow 포맷 사양에 새로운 TimestampWithOffset 타입이 공식적으로 추가되었습니다. 이는 시간대 오프셋을 포함한 타임스탬프를 표준화된 방식으로 표현하게 해, 시간 기반 데이터를 공유하거나 직렬화할 때의 모호성을 없애줍니다.

Impact – 이 추가는 Arrow 기반 데이터 교환에서 시간대 정확성을 크게 향상시킵니다.

Back to Blog

관련 글

더 보기 »