[Paper] 실행 없이 카운팅: LLMs의 코드 복잡도 추론 평가

Source: arXiv - 2512.04355v1

Overview

이 논문은 gpuFLOPBench라는 새로운 벤치마크를 소개한다. 이 벤치마크는 대형 언어 모델(LLM)에게 CUDA 커널의 부동소수점 연산(FLOP) 수를 코드를 실제로 실행하지 않고 예측하도록 요구한다. 코드 복잡도에 대한 선행 추론에 초점을 맞춤으로써, 저자들은 오늘날 코드 생성 어시스턴트의 맹점을 드러낸다: GPU 코드를 작성할 수는 있지만, 설계 단계 초기에 개발자가 알아야 할 성능‑중요 세부 사항을 예측하는 데 어려움을 겪는다.

Key Contributions

• gpuFLOPBench 데이터셋 – HeCBench 스위트에서 추출한 577개의 실제 CUDA 커널을 포함하며, 각 커널마다 단정밀도 및 배정밀도 FLOP 실제값과 “쉬운” 커널과 “어려운” 커널을 구분하는 8가지 실행 속성에 대한 주석이 달려 있다.
• 평가 프로토콜 – (1) 커널의 FLOP 수를 분석적으로 도출할 수 있는지 분류하고, (2) 가능할 경우 정확한 수치 추정치를 생성하는 LLM의 능력을 체계적으로 측정하는 방법.
• 최신 LLM에 대한 실증 연구 – 여러 폐쇄형 추론 모델을 벤치마킹하여, 모델이 성공하는 경우(단순 커널)와 실패하는 경우(나눗셈, 수학 내장 함수, 공통 부분식 등에서 암시적인 FLOP) 를 밝힌다.
• 핵심 제한점에 대한 통찰 – 현재 코드 어시스턴트는 FLOP 수에 영향을 주는 하드웨어‑특화 마이크로코드와 컴파일러 최적화에 대한 내부 모델이 부족하다.
• 오픈소스 공개 – 전체 벤치마크, 주석, 평가 스크립트를 커뮤니티가 더 나은 성능‑인식 LLM 도구를 개발할 수 있도록 공개한다.

Methodology

1. 커널 선택 및 주석 달기 – 저자들은 행렬 곱셈, 스텐실 코드, 감소 연산 등 다양한 계산 패턴을 포함하는 577개의 CUDA 커널을 선별하였다. 각 커널은 NVIDIA GPU에서 프로파일링되어 단정밀도와 배정밀도 연산에 대한 정확한 FLOP 수를 얻었다.
2. 속성 태깅 – 나눗셈 존재 여부, 내장 수학 함수(sin, exp 등) 사용, 컴파일러가 생성한 코드 의존성 등 8개의 이진 속성이 커널을 분석적으로 다룰 수 있는 경우와 숨겨진 런타임 동작에 의존하는 경우로 구분하는 데 활용된다.
3. 프롬프트 설계 – 각 커널에 대해 소스 코드(또는 축소된 발췌)를 포함한 프롬프트를 제공하고, LLM에게 (a) FLOP 수를 정적으로 도출할 수 있는지 판단하고 (b) 추정된 수치를 출력하도록 요청한다.
4. 점수 매기기 – 분류 정확도는 모델이 “쉬운” 커널과 “어려운” 커널을 올바르게 구분했는지를 측정한다. 수치 예측에 대해서는 절대 오차와 상대 오차를 계산하고, 자릿수 차이도 추적한다.
5. 모델 스위트 – 벤치마크는 GPT‑4‑Turbo, Claude 3, Gemini Pro 등 여러 주요 폐쇄형 추론 LLM을 기본 temperature와 chain‑of‑thought 프롬프트 설정으로 실행한다.

Results & Findings

• 쉬운 커널에 대한 완벽한 분류 – 평가된 모든 모델이 FLOP 수를 단순 산술 검토만으로 도출할 수 있는 커널을 정확히 식별했다.
• 어려운 커널에서 큰 오류 – 커널의 FLOP 수가 숨겨진 컴파일러 변환(예: 나눗셈이 곱셈‑덧셈 시퀀스로 변환되거나, 수학 내장 함수가 여러 연산으로 확장되는 경우)에 의존할 때, 모델의 예측은 평균 1~3 자릿수 정도 차이가 났다.
• 체계적인 맹점 – 가장 빈번한 실패 유형은 다음과 같다:
  • 나눗셈 연산(종종 역수‑곱셈 시퀀스로 컴파일)
  • 내장 함수(__sinf, __expf)가 하드웨어 마이크로코드로 매핑되어 가변 FLOP 비용을 갖는 경우
  • 공통 부분식 제거로 인해 겉보이는 연산 수가 변하는 경우
• 모델 간 일관된 우위 없음 – 최신 모델이 약간의 개선을 보였지만, “단순” 커널과 “암시적” 커널 사이의 격차는 여전히 크게 남아 있었다.

Practical Implications

• 초기 성능 추정 – 개발자는 LLM 기반 어시스턴트를 활용해 코드 작성이나 프로파일링 전에 FLOP 강도를 빠르게 확인할 수 있어 설계 단계에서 시간을 절약할 수 있다. 현재 어시스턴트는 직관적인 커널에만 신뢰할 수 있음을 벤치마크가 보여준다.
• 컴파일러 인식 어시스턴트 도구 – 진정으로 유용하려면 향후 코드 어시스턴트는 GPU 컴파일러 파이프라인(예: PTX 생성, 내장 함수 확장)에 대한 경량 모델을 내장해야 한다. 이러한 지식을 통합하면 FLOP 예측 정확도가 높아지고 알고리즘 선택에 대한 더 나은 가이드를 제공할 수 있다.
• 하드웨어 구매 및 스케줄링 – 정확한 FLOP 추정은 팀이 GPU 규모를 결정하고, 클라우드 예산을 계획하며, 워크로드 일정을 잡는 데 도움을 준다. FLOP을 추론할 수 있는 LLM은 데이터센터 운영자를 위한 “성능 부조종사”가 될 수 있다.
• 벤치마크를 개발 목표로 활용 – gpuFLOPBench는 성능‑인식 코드 생성을 주장하는 새로운 LLM이나 플러그인에 대한 구체적이고 재현 가능한 테스트를 제공한다. 이는 커뮤니티가 보다 하드웨어에 정통한 모델을 향해 반복적으로 개선하도록 장려한다.

Limitations & Future Work

• 폐쇄형 모델 중심 – 연구는 독점 LLM만을 평가했으며, 오픈소스 대안은 포함되지 않았다.
• 정적 분석에 국한 – 벤치마크는 단일 목표 GPU 아키텍처를 전제로 한다; 멀티‑GPU 또는 차세대 아키텍처(예: Hopper, Ada)로 확장하려면 추가 프로파일링이 필요하다.
• 커널 범위 – 577개의 커널이 다양하지만, 여전히 벤치마크 스위트에서 추출된 것이며 실제 프로덕션 코드베이스에서 나타나는 모든 엣지 케이스를 포괄하지는 않는다.
• 저자들이 제시한 향후 방향
  • LLM 추론과 심볼릭 정적 분석 또는 컴파일러 IR 검사를 결합한 하이브리드 모델 구축
  • 데이터셋을 확장하여 메모리 대역폭, 점유율 등 다른 성능 지표 포함
  • 평가 파이프라인을 오픈소스로 공개해 커뮤니티 주도 리더보드를 가능하게 함

gpuFLOPBench를 직접 사용해 보고 싶다면, 저장소는 https://github.com/Scientific-Computing-Lab/gpuFLOPBench에서 확인할 수 있다.

Authors

• Gregory Bolet
• Giorgis Georgakoudis
• Konstantinos Parasyris
• Harshitha Menon
• Niranjan Hasabnis
• Kirk W. Cameron
• Gal Oren

Paper Information

• arXiv ID: 2512.04355v1
• Categories: cs.DC, cs.AI, cs.PF
• Published: December 4, 2025
• PDF: Download PDF