[Paper] Observation Lakehouses를 향하여: 소프트웨어 행동의 살아있는 인터랙티브 아카이브

Source: arXiv - 2512.02795v1

Overview

이 논문은 Observation Lakehouses 라는 새로운 방식을 제안한다. 이는 소프트웨어 테스트와 CI 파이프라인에서 발생하는 대규모 런타임 관찰(자극, 응답, 실행 컨텍스트)을 저장하고 쿼리하기 위한 방법이다. 이러한 관찰을 지속적으로 성장하는 append‑only 테이블로 취급함으로써, 개발자는 코드를 다시 실행하지 않고도 풍부한 행동 뷰(SRMs/SRCs)를 즉시 물리화할 수 있다. 이는 빠른 데이터‑드리븐 디버깅, 버전 비교, 모델 학습의 길을 연다.

Key Contributions

• Continual SRC storage model: 모든 자극‑응답 튜플과 그 컨텍스트를 기록하는 “길쭉한” 관찰 테이블을 정의하여, 필요에 따라 고수준 행동 매트릭스와 큐브를 재구성할 수 있게 한다.
• Lakehouse implementation: Apache Parquet, Apache Iceberg, DuckDB를 결합해 ACID‑호환, append‑only 스토리지를 제공하고 빠른 SQL 기반 슬라이싱을 가능하게 한다.
• Integration pipelines: 제어된 실험(LASSO)과 실제 CI 실행(단위 테스트)에서 관찰을 자동으로 레이크하우스로 전달하는 방법을 보여준다.
• Scalable analytics on a laptop: 8.6 M 관찰 행(≈ 51 MiB)을 < 100 ms 안에 ingest하고 쿼리할 수 있음을 입증하여, 대규모 행동 마이닝에 분산 클러스터가 필요하지 않음을 증명한다.
• Open‑source release: 전체 레이크하우스 코드와 벤치마크 데이터셋(509 문제)을 GitHub에 공개하여 커뮤니티가 채택하고 확장할 수 있도록 한다.

Methodology

1. Data model – 각 observation 은 레코드 (stimulus, response, context, version, timestamp) 로 구성된다. 테이블은 새로운 행을 추가하는 방식으로만 성장하며, 완전한 히스토리를 보존한다.
2. Storage stack –
   • Parquet: 컬럼형 압축 파일을 제공해 효율적인 I/O를 가능하게 한다.
   • Iceberg: 스키마 진화, 파티셔닝, 스냅샷 격리를 추가해 원시 파일을 진정한 레이크하우스로 변환한다.
   • DuckDB: Parquet 파일 위에서 직접 빠른 인‑프로세스 SQL 쿼리를 실행해 SRM(2‑D 매트릭스)과 SRC(3‑D 큐브)를 즉시 물리화한다.
3. Ingestion pipelines –
   • LASSO(제어된 자극 생성기)는 체계적인 테스트 입력을 생성하고 응답을 캡처한다.
   • CI integration은 기존 단위 테스트 러너에 훅을 걸어 각 테스트 케이스 실행을 관찰로 자동 로깅한다.
4. Analytics – 간단한 SQL을 사용해 관찰 테이블을 버전, 문제, 혹은 자극 서브셋별로 슬라이스하고 SRM/SRC를 재구성한 뒤, 클러스터링이나 컨센서스‑오라클 알고리즘을 적용한다.

Results & Findings

• Data volume: 509개의 벤치마크 문제에 대해 8.6 M 관찰 행을 < 51 MiB(고압축)로 저장했다.
• Query latency: 어떤 SRM이나 SRC 슬라이스를 재구성하고 클러스터링을 수행하는 데도 표준 노트북에서 < 100 ms가 소요되었다(GPU, 클러스터 없음).
• Behavioral insights: 레이크하우스를 통해 n‑버전 비교(구현 간 회귀 탐지)와 테스트 재실행 없이 유사 행동 패턴 자동 클러스터링이 가능했다.
• Practicality: CI 테스트 실행부터 쿼리 가능한 행동 뷰까지의 전체 파이프라인이 로컬에서 완전히 동작해, “지속적인 행동 마이닝”이 일반 개발 팀에도 실현 가능함을 보여준다.

Practical Implications

• Debugging & regression detection – 개발자는 버전 간 과거 행동을 즉시 쿼리해 정적 diff 도구가 놓치는 미묘한 기능 변화를 포착할 수 있다.
• LLM training data curation – 런타임 검증된 행동 아카이브를 제공함으로써, 버그가 있거나 라벨이 잘못된 코드를 코드‑생성 모델에 투입하기 전에 필터링할 수 있다.
• Continuous integration analytics – CI 시스템이 행동 메트릭(예: 컨센서스 오라클 실패)을 일급 테스트 결과로 제공해 더 스마트한 게이팅 정책을 가능하게 한다.
• Behavior‑driven testing – 팀은 자극‑응답 클러스터를 생성해 아직 다루지 않은 행동 영역을 자동으로 커버하는 새로운 테스트 케이스를 합성할 수 있다.
• Low‑cost infrastructure – 접근 방식이 노트북에서도 효율적으로 동작하므로, 소규모 팀이나 오픈소스 프로젝트가 대규모 데이터 클러스터에 투자하지 않아도 채택할 수 있다.

Limitations & Future Work

• Scalability ceiling – 프로토타입이 수백만 행을 처리할 수는 있지만, 관찰이 수십억 수준으로 확대될 경우 여전히 분산 쿼리 엔진이 필요할 수 있다.
• Context richness – 현재 컨텍스트 필드는 버전과 타임스탬프에 제한되어 있다. 하드웨어, OS, 라이브러리 버전 등 보다 풍부한 프로베넌스 정보가 추가되면 환경 간 분석이 개선된다.
• Automated oracle generation – 논문은 컨센서스 오라클을 시연했지만, 완전 자동화된 정답 오라클 설계는 향후 과제로 남겨졌다.
• Security & privacy – 원시 실행 데이터를 저장하면 독점 코드나 데이터가 노출될 위험이 있다. 향후 확장에서는 암호화와 접근 제어 메커니즘을 탐구해야 한다.

Observation Lakehouse는 소프트웨어 행동을 일급 데이터 자산으로 취급하는 실용적인 경로를 열어, 일상적인 테스트 실행을 개발자, 연구자, AI 모델 구축자를 위한 검색 가능하고 쿼리 가능한 지식 베이스로 전환한다.

Authors

• Marcus Kessel

Paper Information

• arXiv ID: 2512.02795v1
• Categories: cs.SE
• Published: December 2, 2025
• PDF: Download PDF