[Paper] 반사실적 공정성 및 Graph Uncertainty

Source: arXiv - 2601.03203v1

Overview

이 논문은 Counterfactual Fairness with Graph Uncertainty (CF‑GU) 를 소개합니다. 이는 기본 인과 구조가 정확히 알려지지 않은 경우 머신러닝 모델의 편향을 감사하는 새로운 방법입니다. 인과 그래프의 불확실성을 명시적으로 고려함으로써, 이 방법은 실제 적용 환경에서 신뢰할 수 있는 보다 신뢰성 높은 공정성 평가를 제공합니다.

주요 기여

• 그래프 인식 공정성 감사 – 반사실 공정성(CF)을 단일 가정 그래프가 아니라 가능한 인과 그래프들의 분포를 다루도록 확장합니다.
• 부트스트랩 인과 발견 – 도메인 지식으로 제한된 인과 발견 알고리즘을 사용해 후보 DAG들의 “bag”을 생성하고 구조적 불확실성을 포착합니다.
• 정량적 불확실성 지표 – 후보 그래프들 사이의 불일치 정도를 측정하기 위해 정규화된 샤논 엔트로피를 도입합니다.
• 신뢰 구간 기반 CF 지표 – 그래프 불확실성을 반영한 표준 CF 점수(예: 반사실 격차)에 대한 통계적 신뢰 구간을 제공합니다.
• 실증 검증 – 합성 데이터에서 다양한 지식 가정이 감사 결과에 어떻게 영향을 미치는지 보여주고, 실제 데이터셋(COMPAS, Adult)에서는 최소한의 사전 지식만으로도 높은 신뢰도로 알려진 편향을 정확히 찾아낼 수 있음을 입증합니다.

방법론

1. Domain‑knowledge constraints – Practitioners supply a few high‑level causal assumptions (e.g., “age cannot be caused by gender”). → 도메인 지식 제약 – 실무자는 몇 가지 고수준 인과 가정(예: “연령은 성별에 의해 발생할 수 없다”)을 제공합니다.
2. Causal discovery with bootstrapping – A standard causal discovery algorithm (such as PC or GES) is run repeatedly on resampled data, each time respecting the supplied constraints. This yields a collection of plausible DAGs. → 부트스트래핑을 이용한 인과 탐색 – 표준 인과 탐색 알고리즘(예: PC 또는 GES)을 재표본 추출된 데이터에 반복적으로 적용하고, 매번 제공된 제약을 준수합니다. 이를 통해 가능한 DAG들의 집합을 얻습니다.
3. Graph uncertainty quantification – For each edge, the frequency of its appearance across the DAG bag is computed; the normalized Shannon entropy of these frequencies serves as a single scalar summarizing overall uncertainty. → 그래프 불확실성 정량화 – 각 엣지에 대해 DAG 집합에서 나타난 빈도를 계산하고, 이 빈도의 정규화된 샤논 엔트로피를 전체 불확실성을 요약하는 단일 스칼라로 사용합니다.
4. Counterfactual fairness evaluation – For every candidate DAG, the usual CF metric (difference in model prediction under a counterfactual change to the protected attribute) is calculated. → 반사실 공정성 평가 – 각 후보 DAG에 대해, 보호 속성에 대한 반사실적 변화를 적용했을 때 모델 예측의 차이인 일반적인 CF 지표를 계산합니다.
5. Confidence bounds – The distribution of CF scores across the DAG bag is used to construct confidence intervals, giving a range within which the true fairness measure likely lies given the graph uncertainty. → 신뢰 구간 – DAG 집합 전반에 걸친 CF 점수 분포를 이용해 신뢰 구간을 구성하고, 그래프 불확실성을 고려했을 때 실제 공정성 측정값이 존재할 가능성이 높은 범위를 제공합니다.

The pipeline is deliberately modular: any causal discovery tool and any CF metric can be swapped in, making the approach adaptable to different domains and fairness definitions. → 파이프라인은 의도적으로 모듈식으로 설계되어, 어떤 인과 탐색 도구와 CF 지표든 교체 가능하며, 이를 통해 다양한 도메인 및 공정성 정의에 적용할 수 있습니다.

결과 및 발견

• 합성 실험 – 실제 인과 그래프를 알 수 있을 때, CF‑GU의 신뢰 구간은 실제 CF 점수를 꽉 잡아준다. 부과된 도메인 지식이 너무 약하거나 모순될 경우, 엔트로피가 상승하고 구간이 넓어져 감사에 대한 낮은 신뢰도를 올바르게 표시한다.
• COMPAS 데이터셋 – 제한된 몇 개의 제약(예: “전과가 재범보다 먼저 발생”)만으로도, CF‑GU는 인종이 위험 점수에 미치는 통계적으로 유의한 불공정 영향을 식별하며, 기존 포렌식 분석과 일치한다.
• Adult 소득 데이터셋 – 인과 그래프가 대체로 모호함에도 불구하고, 이 방법은 성별 관련 소득 예측 차별을 좁은 신뢰 구간으로 표시한다.
• 두 실제 데이터셋 모두에서 정규화된 엔트로피는 낮은 수준(≈0.2–0.35)을 유지하며, 소량의 도메인 지식만으로도 가능한 그래프를 좁히고 실행 가능한 공정성 인사이트를 도출할 수 있음을 나타낸다.

Practical Implications

• Robust fairness audits – 팀은 이제 정확한 인과 그래프를 “추측”할 필요 없이 CF 검사를 실행할 수 있어, 잘못된 공정성 주장 위험을 줄입니다.
• Iterative model improvement – 엔트로피 측정은 엔지니어에게 감사를 신뢰하기 전에 더 많은 도메인 지식이나 데이터를 수집해야 하는지 알려주어 데이터‑수집 우선순위를 안내합니다.
• Regulatory compliance – 신뢰 구간 기반 공정성 지표는 정량화 가능한 불확실성 보고를 요구하는 새로운 감사 표준과 잘 맞습니다.
• Tool integration – CF‑GU가 기존 인과 발견 라이브러리를 기반으로 구축되었기 때문에, 기존 ML 파이프라인에 쉽게 통합될 수 있습니다(예: MLflow 또는 Kubeflow에서 훈련 후 검증 단계로).
• Cross‑domain applicability – 신용 평가에서 채용 알고리즘에 이르기까지, 보호 속성이 복잡한 인과 웹과 상호 작용하는 모든 상황에서 이 불확실성‑인식 접근법의 혜택을 받을 수 있습니다.

제한 사항 및 향후 연구

• Scalability – 대규모 고차원 데이터셋에서 인과 발견을 부트스트랩하는 것은 계산 비용이 많이 들 수 있으며, 저자들은 보다 효율적인 샘플링 또는 병렬화 전략이 필요함을 언급한다.
• Reliance on domain constraints – 실험에서는 최소한의 제약만으로 충분했지만, 부적절하거나 모순되는 제약은 DAG 백 생성에 오해를 일으킬 수 있다.
• Single‑type fairness metric – 이 연구는 반사실적 격차에 초점을 맞추고 있으며, 프레임워크를 다른 공정성 개념(예: 인구 통계적 동등성, 균등화된 오즈)으로 확장하는 것은 아직 미해결 과제이다.
• Real‑world causal validation – 향후 연구에서는 전문가가 도출한 인과 사전 지식이나 개입 데이터를 통합하여 그래프 백을 더욱 정밀하게 만들고 엔트로피를 감소시킬 수 있다.

저자

• Davi Valério
• Chrysoula Zerva
• Mariana Pinto
• Ricardo Santos
• André Carreiro

논문 정보

• arXiv ID: 2601.03203v1
• 분류: cs.LG, cs.AI, cs.CY
• 출판일: 2026년 1월 6일
• PDF: PDF 다운로드