[Paper] Kolmogorov-Arnold 인과 생성 모델

Source: arXiv - 2603.20184v1

개요

이 논문은 KaCGM을 소개합니다. KaCGM은 딥 네트워크의 표현력을 고전적인 인과 방정식의 해석 가능성과 결합한 인과 생성 모델입니다. 각 구조 방정식을 Kolmogorov–Arnold Network (KAN)으로 연결함으로써, 저자들은 혼합형 테이블 데이터에 대해 관찰, 개입, 반사실적 질의에 답할 수 있으면서도 엔지니어가 학습된 메커니즘을 들여다볼 수 있는 모델을 구현했습니다.

주요 기여

• KAN 기반 구조 방정식 – 각 인과 관계를 Kolmogorov–Arnold Network로 모델링하여 폐쇄형 기호 근사와 부모‑자식 효과의 시각적 검토를 가능하게 함.
• 쿼리‑불감 생성 의미론 – 모델은 별도의 네트워크 없이도 전체 생성 기능(샘플링, do‑연산, 반사실)을 유지함.
• 검증 파이프라인 – 관측 데이터만으로(실제 개입 필요 없이) 인과 충실도를 평가할 수 있는 분포 매칭 및 독립성 진단 집합.
• 경쟁력 있는 실험 성능 – 합성, 반합성, 실제 심혈관 데이터셋에서 KaCGM은 최첨단 인과 발견 및 생성 베이스라인과 동등하거나 이를 능가함.
• 오픈소스 구현 – 저자들은 기존 데이터 파이프라인에 쉽게 연결할 수 있는 PyTorch 라이브러리(kacgm)를 공개함.

Methodology

1. Problem setting – 데이터는 혼합된 수치형, 범주형 및 이진 열로 구성됩니다. 목표는 구조적 인과 모델 (SCM)을 학습하여 방향성 비순환 그래프 (DAG)와 각 노드가 부모 노드로부터 받는 함수 형태를 포착하는 것입니다.
2. Kolmogorov–Arnold Networks – KAN은 Kolmogorov–Arnold 표현 정리를 구현합니다: 任意의 다변량 연속 함수는 입력의 선형 결합에 적용된 일변량 함수들의 합으로 표현될 수 있습니다. 실제로 KAN은 일변량 스플라인‑유사 기반 함수들의 얕은 네트워크이며, 이는 학습된 매핑을 기호적으로 (예: 다항식이나 구간별 선형 규칙) 근사하기 쉽게 합니다.
3. Model architecture – DAG의 각 노드 (X_i)에 대해, KAN은 그 부모 노드들의 값과 잠재 외생 잡음 변수 (U_i)를 입력으로 받습니다. 모든 KAN의 집합이 전체 SCM을 정의합니다.
4. Learning – 저자들은 다음을 공동 최적화합니다:
   • Structure – 차별화 가능한 DAG 제약 (예: NOTEARS‑style 비순환성 페널티).
   • Parameters – 관측 데이터에 대한 최대 가능도 추정을 사용한 각 KAN의 가중치.
   • Noise distribution – 노드 간 독립성을 유지하도록 정규화된 간단한 사전 (예: 표준 정규분포).
5. Validation without interventions – 학습 후, 모델은 합성 샘플을 생성하고 이들의 주변 및 조건부 분포를 실제 데이터와 비교합니다 (분포 매칭). 또한 추정된 외생 변수들이 통계적으로 독립인지 확인하는데, 이는 올바르게 지정된 SCM의 특징입니다.

결과 및 발견

핵심 요약

• 투명성 – KAN은 짧은 기호식(보통 <5항)으로 근사될 수 있어 각 부모 변수가 자식 변수에 어떻게 기여하는지 읽을 수 있습니다.
• 성능 – 해석 가능성 제약이 추가되었음에도 예측 및 생성 성능이 블랙‑박스 기준과 동등하게 유지됩니다.
• 견고성 – 독립성 진단이 심혈관 사례에서 몇몇 잘못 지정된 엣지를 표시했으며, 이를 통해 숨겨진 교란 변수(약물 복용 준수)를 발견하는 수동 검토가 이루어졌습니다.

실용적 함의

• 감사 가능한 AI 파이프라인 – 위험 점수, 신용 모델, 혹은 의료 의사결정 지원을 구축하는 팀은 불투명한 딥넷을 KaCGM으로 교체함으로써 높은 예측 성능과 인간이 읽을 수 있는 인과 지도 모두를 얻을 수 있습니다.
• What‑if 분석 – 모델이 완전한 SCM이므로 개발자는 재학습 없이도 개입을 시뮬레이션할 수 있습니다(예: “혈압을 10 mmHg 낮추면 어떻게 될까?”).
• 규제 준수 – 상징적 방정식은 많은 “설명 가능성” 요구사항(GDPR, FDA 등)을 만족하며 규칙 엔진 형식으로 내보낼 수 있습니다.
• 빠른 프로토타이핑 – 제공된 라이브러리는 pandas/NumPy와 통합되어 데이터 과학자가 몇 줄의 코드만으로 KaCGM을 교체하고 훈련된 모델과 DAG 시각화를 동시에 얻을 수 있습니다.
• 프로덕션 전환 – 검증이 완료되면 추출된 방정식을 경량 추론 서비스(예: ONNX 또는 순수 Python)로 컴파일하여 거의 지연 없이 실행할 수 있습니다.

제한 사항 및 향후 작업

• 확장성 – 500개 이상의 열을 가진 매우 고차원 데이터에 대해 KAN을 학습하면 메모리 사용량이 크게 증가합니다; 현재 구현은 중규모 표형 데이터에 맞게 조정되었습니다.
• 이산 잡음 처리 – 외생 잡음이 연속형으로 모델링되어 있습니다; 프레임워크를 범주형 또는 카운트 기반 잡음으로 확장하면 특정 도메인에서 정확도를 높일 수 있습니다.
• 인과 탐색 보장 – 비순환성 페널티가 실험적으로 잘 작동하지만, 혼합 데이터 유형에 대한 형식적인 식별 가능성은 아직 미해결 문제입니다.
• 향후 방향 – 저자들은 (1) 더 간결한 방정식을 위해 희소성을 유도하는 사전분포를 통합하고, (2) 다중 레벨 인과 계층을 위한 계층적 KAN을 탐색하며, (3) 대규모 산업 데이터셋(예: 광고 클릭 로그)에서 벤치마크를 수행할 계획입니다.

저자

• Alejandro Almodóvar
• Mar Elizo
• Patricia A. Apellániz
• Santiago Zazo
• Juan Parras

논문 정보

• arXiv ID: 2603.20184v1
• 분류: cs.LG, stat.ML
• 발표일: 2026년 3월 20일
• PDF: PDF 다운로드