[Paper] FirecREST v2: 확장 가능한 HPC 자원 접근을 위한 API 재설계에서 얻은 교훈

Source: arXiv - 2512.11634v1

Overview

이 논문은 FirecREST v2 를 소개한다. 완전히 재설계된 오픈‑소스 RESTful API 로, 프로그램이 HPC(고성능 컴퓨팅) 자원에 직접 고성능으로 접근할 수 있게 한다. 서비스를 처음부터 다시 설계함으로써 저자들은 원래 버전 대비 ~100배 의 속도 향상을 달성했으며, 보안을 강화하고 수천 명의 동시 사용자를 지원하도록 확장하였다—이는 슈퍼컴퓨터에서 자동화, 오케스트레이션, 데이터‑집약 파이프라인을 구축하는 모든 사람에게 중요한 진전이다.

Key Contributions

• 대규모 성능 향상: FirecREST v1 대비 100배 높은 처리량과 낮은 지연시간.
• 보안‑우선 아키텍처: 토큰 기반 인증, 세분화된 RBAC, 강화된 통신 채널을 속도 저하 없이 구현.
• 모듈형, 프록시‑프리 설계: I/O‑집약 워크로드의 주요 병목이었던 무거운 프록시 레이어를 제거.
• 체계적인 벤치마크 스위트: API, 네트워크, 스토리지 각각이 지연에 기여하는 바를 분리해 측정하는 오픈‑소스 성능 테스트 프레임워크.
• 실제 검증: 여러 HPC 사이트(예: 국가 슈퍼컴퓨팅 센터)에서 독립적인 동료 평가를 수행해 보고된 성능 향상을 확인.
• 교훈 정리 가이드: 확장 가능한 HPC‑지향 API를 구축하는 개발자를 위한 설계 패턴 및 안티‑패턴 요약.

Methodology

1. 요구사항 수집 – 팀은 기존 FirecREST 사용자들을 조사해 느린 파일 업로드, 인증 마찰, 제한된 동시성 등 문제점을 파악했다.
2. 마이크로‑서비스 리팩터링 – 모놀리식 프록시를 경량 서비스(인증, 작업‑제출, 파일‑전송)로 분리하고 gRPC 로 통신하도록 하여 HTTP‑기반 프록시 호출보다 훨씬 효율적으로 만들었다.
3. 비동기 I/O 파이프라인 – Python asyncio 와 Rust 기반 워커를 활용해 API가 Lustre/GPFS 파일 시스템으로 데이터를 직접 스트리밍하도록 하여 중간 버퍼를 우회한다.
4. 보안 통합 – 짧은 수명의 JWT 를 사용하는 OAuth 2.0 을 채택하고, 프로젝트별 스코프를 도입해 정책 엔진(OPA)으로 강제한다.
5. 성능 테스트 – 현실적인 워크로드(대량 파일 업로드, 작업 배열 제출, 상태 폴링)를 시뮬레이션하는 재현 가능한 벤치마크 하네스를 구축했다. 하네스는 엔드‑투‑엔드 지연시간, CPU/메모리 사용량, 네트워크 활용도를 동시성 수준(1–10 000 동시 요청)별로 기록한다.
6. 동료 검증 – 두 외부 HPC 센터의 독립적인 그룹이 자체 클러스터에서 테스트를 재현해 속도 향상 및 안정성 주장을 확인했다.

Results & Findings

핵심 요점: v1에서 프록시 레이어가 지연시간의 >90 %를 차지했으며, 이를 제거하고 async·제로‑카피 전송을 사용함으로써 병목을 해소했다. 보안 강화는 요청당 <1 ms 라는 거의 무시할 수준의 오버헤드만 추가했다. 시스템은 48 시간 동안 10 k QPS 로 지속적인 고부하에서도 안정적으로 동작한다.

Practical Implications

• 가속된 자동화 – 대규모 시뮬레이션을 컴파일·테스트·실행하는 CI/CD 파이프라인이 이제 작업을 트리거하고 데이터를 이동하는 데 몇 초면 충분해 피드백 루프가 크게 단축된다.
• 비용 절감 – 빠른 작업 제출 및 데이터 스테이징은 유휴 노드 시간을 감소시켜 HPC 센터의 할당 사용량 및 운영 비용을 낮춘다.
• 통합 용이성 – RESTful 인터페이스와 OAuth 2.0 결합으로 클라우드‑네이티브 도구(Kubernetes 오퍼레이터, Airflow DAG, JupyterHub)들이 맞춤형 SSH 래퍼 없이 슈퍼컴퓨터와 상호작용할 수 있다.
• 확장 가능한 서비스 – 개발자는 수천 명의 동시 사용자를 처리할 수 있다는 확신을 가지고 FirecREST v2 위에 멀티‑테넌트 포털이나 SaaS 제품을 구축할 수 있다.
• 오픈‑소스 모멘텀 – 모든 코드, 벤치마크, 배포 스크립트가 공개돼 커뮤니티 기여와 다른 HPC 사이트로의 채택을 촉진한다.

Limitations & Future Work

• 스토리지 백엔드 의존성 – 현재 최적화는 POSIX‑호환 병렬 파일 시스템(Lustre/GPFS)을 전제로 한다. 객체 스토어나 신흥 버스트‑버퍼 아키텍처에서의 성능은 추가 연구가 필요하다.
• 언어 바인딩 – Python 및 Rust 클라이언트는 성숙했지만, Go, Java, JavaScript용 네이티브 SDK는 아직 초기 단계이다.
• 동적 스케일링 – 워크로드 급증에 따른 마이크로‑서비스 자동 확장은 아직 통합되지 않았으며, 저자들은 Kubernetes‑네이티브 HPA 규칙을 추가할 계획이다.
• 확장된 보안 정책 – 세분화된 감사 로그와 연합 아이덴티티 제공자(예: InCommon)와의 통합이 로드맵에 포함되어 있다.

전반적으로 FirecREST v2는 신중하게 재설계된 API가 HPC 워크플로에 막대한 성능 향상을 제공할 수 있음을 보여주며, 현대 소프트웨어 엔지니어링 관행과 슈퍼컴퓨팅 세계 사이의 격차를 메우고자 하는 모든 이에게 실용적인 청사진을 제공한다.

Authors

• Elia Palme
• Juan Pablo Dorsch
• Ali Khosravi
• Giovanni Pizzi
• Francesco Pagnamenta
• Andrea Ceriani
• Eirini Koutsaniti
• Rafael Sarmiento
• Ivano Bonesana
• Alejandro Dabin

Paper Information

• arXiv ID: 2512.11634v1
• Categories: cs.DC
• Published: December 12, 2025
• PDF: Download PDF