[Paper] TabICLv2: 더 나은, 더 빠른, 확장 가능한, 그리고 오픈된 테이블형 파운데이션 모델

Source: arXiv - 2602.11139v1

개요

TabICLv2는 표 형식 데이터용 최신 “foundation model”로, 스프레드시트, CSV, 그리고 관계형 테이블에서 대규모 사전 학습 모델이 할 수 있는 한계를 뛰어넘습니다. 더 풍부한 합성 데이터 생성기, 더 스마트한 아키텍처 조정, 그리고 새로운 옵티마이저를 결합함으로써, 저자들은 단일 모델이 회귀와 분류 작업 모두에서 고도로 튜닝된 앙상블을 능가할 수 있음을 보여줍니다—그리고 < 50 GB 메모리의 단일 GPU에서도 충분히 빠르게 실행됩니다.

핵심 기여

• 다양한 합성 사전‑학습 엔진 – 자동으로 수백만 개의 다양한 표 형식 데이터셋(다양한 열 유형, 결측 패턴, 특성 상호작용)을 생성하여 모델이 광범위한 “표의 세계”에 노출되도록 함.
• 확장 가능한 softmax‑in‑attention – 긴 특성 시퀀스에 대해 계산 비용을 낮게 유지하는 새로운 어텐션 방식으로, 메모리 폭증 없이 수백만 행을 처리할 수 있게 함.
• Muon 옵티마이저 – 사전‑학습 시 표준 AdamW를 대체하여 더 빠른 수렴과 하위 표 형식 작업에서의 향상된 일반화를 제공함.
• 최첨단 성능 – TabArena와 TALENT 벤치마크에서 TabICLv2는 RealTabPFN‑2.5보다 우수한 결과를 보이며, 후자는 하이퍼파라미터 튜닝, 앙상블, 실제 데이터에 대한 파인튜닝을 사용함.
• 오픈‑소스 공개 – 추론 코드와 사전 학습된 가중치는 공개되어 있으며, 합성 데이터 엔진 및 학습 스크립트는 곧 제공될 예정임.

방법론

1. 합성 데이터 생성

• 저자들은 무작위 스키마(수치형, 범주형, 날짜‑시간, 텍스트)를 샘플링하고, 현실적인 노이즈(결측값, 이상치)를 주입한 뒤, 선형, 트리 기반, 신경망 함수를 혼합해 타깃 변수를 생성하는 파이프라인을 구축했습니다.
• 이를 통해 실제 테이블에서 관찰되는 이질성을 모방한 고다양성 사전학습 코퍼스를 만들 수 있어, 대규모 라벨링 데이터셋에 대한 의존도를 낮춥니다.

2. 모델 아키텍처

• TabICLv2는 각 열을 토큰으로, 각 행을 “시퀀스”로 취급하는 트랜스포머‑스타일 인코더입니다.
• 스케일러블 소프트맥스‑인‑어텐션은 행을 청크 단위로 처리해 어텐션을 계산함으로써 기존 셀프‑어텐션의 2차 복잡성을 피하면서도 행 간 장거리 종속성을 포착할 수 있습니다.

3. 학습 프로토콜

• 사전학습은 이전 TabPFN 모델에 비해 상대적으로 적은 스텝 수로 진행되며, Muon 옵티마이저를 사용합니다. 이 옵티마이저는 AdamW보다 파라미터별 학습률을 더 적극적으로 조정합니다.
• 작업별 파인‑튜닝은 수행되지 않으며, 모델은 인‑컨텍스트 학습을 통해 직접 평가됩니다: 몇 개의 예시 행과 질의 행을 모델에 입력하면, 모델이 타깃을 예측합니다.

4. 평가

• 벤치마크: TabArena(100개 이상의 공개 표 형식 데이터셋 모음)와 TALENT(수백만 행 규모의 대규모 테이블).
• 지표: 표준 회귀 지표(RMSE, R²)와 분류 지표(정확도, F1) 외에도 추론 지연 시간 및 GPU 메모리 사용량을 포함합니다.

결과 및 발견

• 하이퍼파라미터 튜닝 없음: TabICLv2의 즉시 사용 가능한 성능이 조정된 RealTabPFN‑2.5를 능가하여 합성 사전 학습 다양성의 강점을 입증합니다.
• 확장성: 새로운 어텐션 메커니즘 덕분에 모델이 단일 GPU에서 > 1 M 행의 테이블을 처리할 수 있으며, 이전 탭ular 기반 모델들은 크래시하거나 다중 GPU 설정이 필요했습니다.
• 절제 연구는 각 요소(합성 엔진, 어텐션 조정, Muon 옵티마이저)가 최종 점수에 측정 가능한 향상(≈ 1–2 %씩)을 제공한다는 것을 확인합니다.

실용적 함의

• 빠른 프로토타이핑: 데이터 과학자는 TabICLv2를 노트북에 바로 넣고, 소수의 라벨이 있는 행을 제공함으로써, 특성 엔지니어링이나 모델 선택에 시간을 들이지 않고도 고품질 예측을 얻을 수 있습니다.
• 엣지 친화적 배포: 추론이 50 GB GPU 메모리 내에 들어가고 서브 초 단위 지연 시간으로 실행되므로, 모델을 SaaS 플랫폼, 내부 ML API, 혹은 고성능 소비자용 GPU에서도 서비스할 수 있습니다.
• 비용 효율적인 확장: 방대한 로그, IoT 텔레메트리, 클릭 스트림 데이터를 다루는 기업은 이제 각 데이터셋마다 별도의 그래디언트 부스팅 트리를 학습하는 대신, 단일 사전 학습 모델을 적용할 수 있습니다.
• 오픈소스 생태계: 코드와 가중치를 공개함으로써, 커뮤니티는 합성 생성기를 도메인 특화 스키마(예: 금융, 의료)로 확장하고, TabICLv2를 특정 규제 요구사항에 맞게 미세 조정할 수 있습니다.

제한 사항 및 향후 작업

• 합성‑실제 격차: 합성 엔진은 다양하지만, 특정 도메인에 특화된 특이점(예: 시계열 자동상관, 계층적 범주형 인코딩 등)이 여전히 충분히 반영되지 않을 수 있어, 고도로 특화된 테이블에서 성능이 제한될 가능성이 있습니다.
• 해석 가능성: 대다수 트랜스포머 기반 모델과 마찬가지로 TabICLv2는 전통적인 트리 모델에 비해 특징 중요도에 대한 통찰이 제한적입니다; 사후 설명 가능성 도구를 통합하는 것이 규제 산업에서는 필수적일 것입니다.
• 학습 연산량: 추론은 비용이 적지만, 사전 학습 단계는 여전히 수일간의 GPU 시간이 필요합니다; 향후 연구에서는 최적화 기법이나 커리큘럼 학습과 같은 추가적인 트릭을 탐구하여 비용을 줄일 수 있습니다.
• 다중모달 테이블 확장: 현재 설계는 동질적인 열 유형을 전제로 합니다; 임베디드 이미지, 자유 형식 텍스트, 그래프 구조 열 등을 처리하도록 아키텍처를 확장하는 것은 아직 미해결 연구 과제입니다.

핵심 요약: TabICLv2는 잘 설계된 합성 사전 학습 파이프라인과 영리한 아키텍처 조정을 결합하면, ‘플러그‑앤‑플레이’형 테이블 모델을 제공하여 고도로 엔지니어링된 베이스라인과 경쟁할 수 있음을 보여줍니다—이를 통해 산업 전반에 걸쳐 더 빠르고 확장 가능한 데이터 과학 워크플로우의 문을 열어줍니다.

저자

• Jingang Qu
• David Holzmüller
• Gaël Varoquaux
• Marine Le Morvan

논문 정보

• arXiv ID: 2602.11139v1
• 분류: cs.LG
• 발행일: 2026년 2월 11일
• PDF: Download PDF