[Paper] LLMs 기반 실시간 결함 주입: 지능형 결함 테스트 케이스 생성을 위한 접근법

Source: arXiv - 2511.19132v1

Overview

Fault injection (FI) 은 자동차 소프트웨어 안전성을 검증하기 위한 핵심 기법이지만, 기존 FI 워크플로우는 결함 유형, 위치, 타이밍을 지정하기 위해 수작업이 많이 필요합니다. 논문 “LLMs‑Powered Real‑Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation” 은 대형 언어 모델(LLM) — 구체적으로 GPT‑4o — 을 활용해 기능 안전 요구사항(FSR)으로부터 현실적인 결함 테스트 케이스를 자동으로 생성하는 새로운 파이프라인을 제안합니다. 이를 통해 안전‑중요 자동차 시스템을 보다 빠르고 저렴하게, 그리고 커버리지를 고려하면서 스트레스 테스트할 수 있게 됩니다.

Key Contributions

• LLM‑구동 테스트 케이스 합성: 텍스트 형태의 FSR을 인간이 작성한 사양 없이도 결함 주입 테스트 케이스로 변환하는 체계적인 방법을 소개합니다.
• 모델 비교 및 선택: 여러 최신 LLM(GPT‑3.5, Claude, LLaMA 등)을 평가하고, GPT‑4o 가 분류 및 생성 작업에서 일관되게 가장 높은 성능을 보임을 입증합니다.
• 고정밀도 지표: FSR을 올바르게 분류하는 F1‑score 88 %, 유효한 결함 테스트 케이스를 생성하는 F1‑score 97.5 % 를 달성했습니다.
• 실시간 하드웨어‑인‑루프(HIL) 검증: 생성된 테스트 케이스를 고충실도 자동차 모델에 적용해, 실제 테스트 환경에서 엔드‑투‑엔드 방식이 작동함을 확인했습니다.
• 비용 절감 논거: 수작업 엔지니어링 노력 및 테스트 생성 시간을 정량화하여, 기존 FI 도구에 대한 실용적인 대안임을 제시합니다.

Methodology

1. 요구사항 전처리: 자동차 개발 산출물에서 기능 안전 요구사항을 수집하고 정규화(토큰화, 상용구 제거)를 수행합니다.
2. LLM 파인‑튜닝 / 프롬프팅: 신중히 설계된 프롬프트 집합을 만들어 LLM에게 (a) 요구사항을 결함 도메인(예: 센서, 액추에이터, 통신)으로 분류하고, (b) 구체적인 결함 주입 테스트 케이스(결함 유형, 주입 지점, 타이밍, 심각도)를 생성하도록 요청합니다.
3. 모델 선택 루프: 동일한 프롬프트를 여러 LLM에 적용하고, 수동으로 만든 정답 데이터셋과 비교해 정밀도/재현율 트레이드‑오프가 가장 좋은 모델(GPT‑4o)을 선택합니다.
4. 테스트 케이스 검증: 생성된 테스트 케이스를 실시간 FI 프레임워크에 전달해, 고충실도 차량 동역학 및 제어 모델이 실행되는 HIL 환경에 결함을 주입합니다.
5. 커버리지 분석: 표준 커버리지 기준(예: 요구사항 커버리지, 결함 유형 다양성)을 사용해 생성된 테스트 스위트가 원본 FSR 공간을 얼마나 잘 커버하는지 측정합니다.

이 파이프라인은 모듈식으로 설계되어 적절한 API를 가진 어떤 LLM이라도 교체 가능하며, 프롬프팅 전략은 항공우주·의료기기 등 다른 안전‑중요 분야에도 적용할 수 있습니다.

Results & Findings

이 수치들은 GPT‑4o 가 안전 엔지니어를 위한 고정밀 “보조자” 역할을 수행할 수 있음을 보여주며, 최소한의 인간 개입만으로 자연어 요구사항을 실행 가능한 테스트 산출물로 변환합니다.

Practical Implications

• 가속화된 안전 검증 파이프라인: 개발 팀은 하룻밤 사이에 포괄적인 결함 주입 스위트를 생성해, 엔지니어는 테스트 작성이 아닌 분석에 집중할 수 있습니다.
• 자동차 소프트웨어 CI/CD와의 통합: LLM‑구동 생성기를 지속적 통합 파이프라인에 스크립트화해, 요구사항이 변경될 때마다 자동으로 결함 스위트를 갱신할 수 있습니다.
• 비용 절감: 수동 테스트 케이스 작성 감소는 직접적인 인건비 절감과 안전‑중요 기능의 시장 출시 기간 단축으로 이어집니다.
• 복잡 시스템에 대한 확장성: ADAS·자율주행 스택 등 차량 소프트웨어 아키텍처가 커짐에 따라, LLM이 가능한 결함 위치의 조합 폭발을 처리해 접근성이 유지됩니다.
• 다중 도메인 적용 가능성: 동일한 프롬프팅 프레임워크를 ISO‑26262와 유사한 표준(예: IEC 61508)이나 비자동차 안전‑중요 분야에도 재활용할 수 있습니다.

Limitations & Future Work

• LLM API 안정성 및 라이선스 의존성: 상용 LLM(GPT‑4o) 접근에 의존하므로 가격 변동이나 API 제한이 도입에 영향을 미칠 수 있습니다.
• 프롬프트 엔지니어링 오버헤드: 생성은 자동화되지만, 견고한 프롬프트를 만들기 위해서는 도메인 전문 지식과 반복적인 튜닝이 필요합니다.
• 의미적 정확성 검증 부족: 현재 평가는 구문적 F1‑score에 초점이 맞춰져 있어, 주입된 결함이 실제로 의도된 안전 메커니즘을 충분히 시험하는지에 대한 심층 검증은 남아 있습니다.
• 레거시 코드베이스에 대한 일반화: 연구는 고충실도 모델을 사용했으며, 이질적이고 레거시인 자동차 ECU에 적용하려면 추가 어댑터가 필요할 수 있습니다.

향후 연구 방향:

1. 프롬프트 복잡성을 낮추기 위한 도메인‑특화 파인‑튜닝 LLM 구축
2. 형식 검증을 통합해 생성된 결함이 커버리지 기준을 자동으로 만족하도록 인증
3. UML 다이어그램·Simulink 모델 등 멀티모달 입력을 지원하도록 파이프라인 확장

Authors

• Mohammad Abboush
• Ahmad Hatahet
• Andreas Rausch

Paper Information

• arXiv ID: 2511.19132v1
• Categories: cs.SE
• Published: 2025년 11월 24일
• PDF: Download PDF