[Paper] IOAgent: LLM을 통한 신뢰할 수 있는 HPC I/O 성능 진단 기능의 민주화

Source: arXiv - 2602.22017v1

개요

이 논문은 IOAgent라는 AI‑구동 어시스턴트를 소개합니다. 이 어시스턴트는 전문가 수준의 I/O 성능 진단을 일상적인 HPC 사용자에게 제공한다. 대형 언어 모델(LLM)과 도메인‑특화 지식 베이스를 결합함으로써 IOAgent는 Darshan I/O 트레이스를 자동으로 분석하고, 병목 현상을 정확히 찾아내며, 그 이유를 설명한다—전문 I/O 전문가가 없는 과학자들도 신뢰할 수 있는 성능 디버깅을 활용할 수 있게 한다.

주요 기여

• 엔드‑투‑엔드 진단 파이프라인은 모듈식 전처리기, Retrieval‑Augmented Generation (RAG) 지식 통합기, 그리고 트리 기반 답변 병합기를 결합하여 긴 트레이스 파일을 처리합니다.
• TraceBench, 라벨이 지정된 HPC I/O 트레이스를 최초로 공개한 벤치마크 스위트로, 진단 도구의 체계적인 평가를 가능하게 합니다.
• LLM‑비종속 설계: IOAgent는 정확성을 손상시키지 않으면서 독점 모델(GPT‑4 등)과 오픈소스 모델(LLaMA 등) 모두와 작동합니다.
• 설명 가능한 출력: 모든 진단은 상세한 근거와 관련 문서에 대한 인용을 동반하여 인간 I/O 전문가의 작업 흐름을 그대로 반영합니다.
• 대화형 질의 인터페이스는 사용자가 후속 질문을 할 수 있게 하여 대화형 디버깅 경험을 제공합니다.

방법론

1. Trace Ingestion & Pre‑processing – 원시 Darshan 트레이스(보통 메가바이트 규모)를 논리적 청크(예: MPI 랭크별, I/O 단계별)로 분할합니다. 가벼운 파서가 주요 메트릭(전송 바이트, 연산 횟수, 타임스탬프)을 추출합니다.
2. Domain Knowledge Retrieval – HPC 스토리지 문서, 모범 사례 가이드, 이전 진단 보고서 등으로 구성된 정제된 코퍼스를 인덱싱합니다. 트레이스 청크가 LLM에 입력되면 RAG 구성요소가 모델의 추론을 뒷받침할 가장 관련성 높은 구절을 가져옵니다.
3. LLM Reasoning – 선택된 LLM은 청크와 검색된 지식을 컨텍스트로 받습니다. 프롬프트 엔지니어링을 통해 모델이 구조화된 진단(증상, 근본 원인, 제안된 해결책)을 생성하고, 지원 구절을 인용하도록 강제합니다.
4. Tree‑Based Merger – 개별 청크 수준 진단을 일관된 계층형 보고서로 병합합니다. 충돌은 신뢰도 점수가 높고 인용이 강한 진단을 우선하는 투표 방식으로 해결됩니다.
5. Interactive Layer – 사용자는 최종 보고서에 대해 질의할 수 있습니다(예: “왜 내 collective I/O가 느린가?”). 시스템은 해당 서브 트리를 LLM을 통해 다시 실행하여 원래의 정당화 체인을 유지합니다.

결과 및 발견

• 정확도: TraceBench(≈1,200개의 라벨된 트레이스)에서 IOAgent는 92 %의 정확한 진단률을 달성했으며, 이전 최첨단 도구 IOTrace(84 %)를 능가했습니다.
• 설명 가능성: IOAgent 보고서의 96 %에 최소 하나의 검증 가능한 인용이 포함되었으며, 환각 현상이 발생한 기존 LLM‑전용 접근법은 68 %에 불과했습니다.
• LLM 독립성: GPT‑4, Claude, 오픈소스 LLaMA‑2‑13B를 사용한 실험에서 진단 품질의 변동이 3 % 미만으로 나타나 파이프라인이 모델에 구애받지 않음을 확인했습니다.
• 성능: 트레이스당(≈200 MB) 평균 종단 간 지연 시간이 12초로, 인터랙티브 사용 사례 한계 내에 충분히 들어갑니다.
• 사용자 연구: 소수의 분야 과학자들이 IOAgent를 도입한 후 I/O 디버깅에 소요되는 시간이 45 % 감소했다고 보고했습니다.

Practical Implications

• Democratizing Expertise – 작은 연구 그룹도 전용 스토리지 엔지니어를 고용하지 않고도 신뢰할 수 있는 I/O 진단을 수행할 수 있어 데이터‑집약적 워크로드에 대한 과학적 결과 도출 시간을 단축합니다.
• Integration into Job Schedulers – IOAgent를 Slurm이나 PBS에 연동하면 완료된 작업을 자동으로 분석하고 작업의 사후 로그에 성능 팁을 표시할 수 있습니다.
• Continuous Monitoring – 실시간 Darshan 트레이스를 공급함으로써 관리자는 생산 실행에 영향을 주기 전에 경쟁, 잘못 정렬된 I/O 등 새로운 스토리지 병리를 사전 탐지할 수 있습니다.
• Vendor‑Neutral Tuning – 시스템이 벤더‑특정 휴리스틱이 아닌 일반적인 스토리지 지식을 기반으로 하기 때문에 이기종 HPC 클러스터(Lustre, GPFS, BeeGFS) 전반에 걸쳐 배포할 수 있습니다.
• Open‑Source Ecosystem – 공개된 TraceBench와 모듈식 파이프라인은 커뮤니티 확장을 촉진합니다—예를 들어 다른 트레이싱 포맷(Score‑P 등)이나 맞춤형 도메인 코퍼스 지원을 추가하는 것이 가능합니다.

제한 사항 및 향후 작업

• 컨텍스트 윈도우는 여전히 제한됨 – 1 GB를 초과하는 매우 큰 트레이스는 추가 청킹 휴리스틱이 필요하며, 이는 청크 간 상관관계를 놓칠 수 있습니다.
• 지식 베이스 노후화 – RAG 코퍼스는 진화하는 스토리지 기술 및 벤더 문서에 맞추어 최신 상태를 유지하도록 주기적으로 갱신되어야 합니다.
• 극단 상황에서의 환각 위험 – 완화되었지만, LLM이 검색된 자료를 넘어 추론할 때 드물게 오진이 발생할 수 있습니다.
• 인터랙티브 쿼리의 확장성 – 대규모 보고서에 대한 실시간 후속 작업은 지연을 초래할 수 있으며, 향후 작업에서는 캐싱 및 점진적 추론을 탐구할 예정입니다.
• 보다 폭넓은 벤치마킹 – TraceBench를 확장하여 최신 워크로드(예: AI 모델 체크포인팅)와 다중 테넌트 클라우드‑HPC 환경을 포함할 계획입니다.

IOAgent는 도메인‑특화 검색 및 구조화된 병합과 긴밀히 결합된 LLM이 어떻게 틈새 전문가 기술을 널리 활용 가능한 서비스로 전환시킬 수 있는지를 보여주며, AI‑지원 HPC 성능 엔지니어링의 새로운 시대를 열어갑니다.

저자

• Chris Egersdoerfer
• Arnav Sareen
• Jean Luca Bez
• Suren Byna
• Dongkuan
• Xu
• Dong Dai

논문 정보

• arXiv ID: 2602.22017v1
• 분류: cs.DC
• 출판일: 2026년 2월 25일
• PDF: PDF 다운로드