[Paper] AI4EOSC: 과학 연구에서 인공지능을 위한 연합 클라우드 플랫폼

Source: arXiv - 2512.16455v1

개요

이 논문은 AI4EOSC라는 연합 클라우드 플랫폼을 소개합니다. 이 플랫폼은 여러 유럽 e‑인프라스트럭처 사이트를 하나로 연결하여 과학자들에게 AI/ML 전체 워크플로우—인터랙티브 모델 개발부터 GPU를 활용한 대규모 학습, 그리고 클라우드 연속체 전반에 걸친 원활한 배포까지—를 위한 단일하고 재현 가능한 환경을 제공합니다. 기반의 이질성을 추상화함으로써 AI4EOSC는 AI 기반 연구를 보다 투명하고, 이식 가능하며, 협업하기 쉬운 형태로 만들고자 합니다.

핵심 기여

• Federated Architecture – 지리적으로 분산된 e‑Infrastructure 제공자들의 컴퓨트, 스토리지 및 AI 서비스를 통합하는 서비스 레이어.
• End‑to‑End ML Lifecycle Support – 데이터 주석, 실험 추적, GPU‑가속 학습, 연합 학습, 다중 대상 배포(엣지, 클라우드, HPC)를 위한 통합 툴링.
• Reproducibility & Traceability – 자동화된 출처 캡처, 컨테이너 기반 패키징, 버전 관리 모델 레지스트리를 통해 실험을 사이트 간 재현 가능하게 함.
• Extensible Service Catalog – 플러그인 모델 제공자, 데이터셋 저장소, 스토리지 백엔드를 추가하여 커뮤니티가 도메인‑특화 요구에 맞게 플랫폼을 맞춤화 가능.
• User‑Friendly Interfaces – 기본적인 연합 복잡성을 숨기는 인터랙티브 개발 환경(JupyterLab, VS Code Server) 및 웹 대시보드.
• Open‑Source Reference Implementation – 기존 연구 인프라에서 플랫폼을 구축하는 방법을 보여주는 공개 코드베이스 및 배포 스크립트.

방법론

저자들은 기존 표준(OpenID Connect를 신원 인증에, OIDC‑compatible OAuth를 권한 부여에, 그리고 European Open Science Cloud (EOSC) API를 사용)에 AI4EOSC를 구축했습니다. 플랫폼은 세 개의 논리적 계층으로 구성됩니다:

1. Federation Layer – 원격 사이트를 등록하고 모니터링하며, 중앙 브로커를 통해 컴퓨팅(CPU/GPU), 스토리지 및 AI 서비스의 공통 카탈로그를 제공합니다.
2. Orchestration Layer – 쿠버네티스(페더레이션 확장 포함)를 사용해 컨테이너를 스케줄링하고, GPU 할당을 관리하며, 정책(예: 데이터 로컬리티, 할당량)을 적용합니다.
3. User Experience Layer – 웹 기반 포털 및 API를 제공하여 사용자가 Jupyter 노트북을 실행하고, 학습 작업을 제출하며, 실험을 추적(MLflow 호환 메타데이터 사용)하고, 서버리스 함수 또는 컨테이너 레지스트리를 통해 모델을 배포할 수 있게 합니다.

팀은 4개의 유럽 연구 클라우드 테스트베드에서 플랫폼을 평가했으며, 배포 시간, 작업 처리 시간 및 사이트 간 재현성을 측정했습니다. 또한 도메인 과학자를 대상으로 사용자 연구를 수행하여 사용성을 평가했습니다.

결과 및 발견

• 배포 일관성 – 전체 ML 파이프라인(데이터 수집 → 노트북 → GPU 학습 → 모델 레지스트리)을 네 개 사이트 중 어느 곳에서든 실행 시간이 ≤ 5 % 변동 범위 내에서 재현할 수 있었으며, 이는 컨테이너 기반 격리와 연합 브로커의 효과성을 확인한다.
• 성능 오버헤드 – 추가된 추상화 계층으로 인해 작업 제출 시 평균 2–3 % 지연, 데이터 전송 시 1 % 지연이 발생했으며, 저자들은 이를 이동성 이점에 비해 무시할 수 있다고 판단한다.
• 사용자 만족도 – 설문에 응한 연구자들은 환경 설정에 소요되는 시간이 30 % 감소했으며, 결과를 공유하고 재현할 수 있다는 자신감이 25 % 증가했다고 보고했다.
• 확장성 – 이 플랫폼은 세 개 사이트에 걸쳐 8개의 GPU에서 동시에 학습 작업을 성공적으로 조정했으며, 연합 스케줄링이 병목 현상 없이 적당한 규모의 다중 사이트 워크로드를 처리할 수 있음을 보여준다.

실용적 함의

• 가속화된 AI 연구 – 개발자는 이기종 클라우드 인증 정보, VM 이미지, GPU 프로비저닝 등에 얽매이지 않고 모델 혁신에 집중할 수 있습니다.
• 기관 간 협업 – 유럽 전역(또는 그 이상)으로 퍼져 있는 팀들이 수동적인 데이터 이동 없이 노트북과 학습된 모델을 공유할 수 있어 재현 가능한 과학을 촉진합니다.
• 비용 효율적인 자원 활용 – 브로커가 활용도가 낮은 사이트로 작업을 라우팅하여 부하를 균형 있게 조정하고 연구 프로젝트의 컴퓨팅 비용을 낮출 수 있습니다.
• 엣지‑투‑클라우드 배포 – 엣지 디바이스부터 대규모 클라우드 클러스터까지 배포 옵션을 제공함으로써 AI4EOSC는 동일한 관리 환경 내에서 실시간 추론 사용 사례(예: 원격 감지, IoT 분석)를 가능하게 합니다.
• 다른 분야를 위한 템플릿 – 모듈형 서비스 카탈로그와 오픈소스 스택은 유전체학, 기후 모델링, 산업용 IoT 등 분야에 적용 가능해 데이터 집약적 과학 전반에서 AI 도입 장벽을 낮춥니다.

제한 사항 및 향후 작업

• 지리적 범위 – 현재 평가는 네 개의 유럽 사이트에만 제한되어 있습니다; 보다 광범위한 글로벌 연합은 아직 해결되지 않은 지연 및 정책 과제를 드러낼 수 있습니다.
• 데이터 거버넌스 – 인증은 표준화되어 있지만, 관할 구역 간 세밀한 데이터 접근 정책은 여전히 미해결 문제입니다.
• 연합 학습 성숙도 – 프라이버시 보호 연합 학습에 대한 지원은 프로토타입 수준이며, 보다 견고한 알고리즘과 보안 감시가 필요합니다.
• 자원 협상 자동화 – 향후 작업에는 참여 클라우드 전반에 걸쳐 할당량 및 가격을 자동으로 협상할 수 있는 보다 스마트하고 정책 기반의 스케줄링이 포함됩니다.

전체적으로, AI4EOSC는 잘 설계된 연합 클라우드가 AI 연구를 보다 재현 가능하고 협업적이며 확장 가능하게 만들 수 있음을 보여줍니다—일반적인 인프라 문제 없이 최첨단 머신러닝을 과학 워크플로에 도입하려는 개발자들에게 매력적인 전망입니다.

저자

• Ignacio Heredia
• Álvaro López García
• Germán Moltó
• Amanda Calatrava
• Valentin Kozlov
• Alessandro Costantini
• Viet Tran
• Mario David
• Daniel San Martín
• Marcin Płóciennik
• Marta Obregón Ruiz
• Saúl Fernandez
• Judith Sáinz-Pardo Díaz
• Miguel Caballer
• Caterina Alarcón Marín
• Stefan Dlugolinsky
• Martin Šeleng
• Lisana Berberi
• Khadijeh Alibabaei
• Borja Esteban Sanchis
• Pedro Castro
• Giacinto Donvito
• Diego Aguirre
• Sergio Langarita
• Vicente Rodriguez
• Leonhard Duda
• Andrés Heredia Canales
• Susana Rebolledo Ruiz
• João Machado
• Giang Nguyen
• Fernando Aguilar Gómez
• Jaime Díez

논문 정보

• arXiv ID: 2512.16455v1
• Categories: cs.DC, cs.AI
• Published: 2025년 12월 18일
• PDF: PDF 다운로드