[Paper] 회귀를 위한 커널 학습: 양자 어닐링 기반 스펙트럴 샘플링
Source: arXiv - 2601.08724v1
개요
이 논문은 양자 어닐러를 사용하여 회귀 커널을 학습하는 새로운 방법을 소개합니다. 어닐러의 잡음이 섞인 출력을 확률적 샘플의 원천으로 취급함으로써, 저자들은 이를 커널‑학습 파이프라인에 직접 삽입하여 데이터‑적응형 커널을 생성하고, 이는 표준 회귀 벤치마크에서 고전적인 가우시안 커널보다 뛰어날 수 있습니다.
핵심 기여
- QA‑in‑the‑loop 커널 학습: 양자 어닐링(QA)을 커널을 형성하는 핵심 요소로 통합하여 단순한 블랙‑박스 샘플러가 아니라 커널을 직접 설계함.
- Random Fourier Features (RFF)를 통한 스펙트럴 표현: Bochner 정리를 활용해 shift‑invariant 커널을 스펙트럴 분포에 대한 기대값으로 표현.
- RBM‑구동 스펙트럴 분포: (다층) 제한 볼츠만 머신(RBM)으로 스펙트럴 밀도를 모델링하고, 양자 어닐러로부터 생성된 이산 샘플을 연속적인 Fourier 주파수로 변환.
- 제곱 커널 가중치: 표준 Nadaraya–Watson 분모를 비음수 제곱 커널 가중치로 대체하여 수치적 불안정성을 방지하고 대비를 향상.
- Leave‑one‑out (LOO) 학습 목표: Nadaraya–Watson 회귀기의 LOO 평균 제곱 오차를 직접 최소화하여 일반화에 맞춘 커널을 얻음.
- 실증 검증: 여러 회귀 데이터셋에서 훈련 손실 감소와 (R^2) / RMSE 향상을 일관되게 보여주며, 추론 시 랜덤 피처 수를 늘릴수록 추가적인 이득을 확인.
방법론
-
Spectral kernel formulation – 모든 shift‑invariant 커널 (k(\Delta x))는
[ k(\Delta x)=\mathbb{E}_{\omega\sim p(\omega)}[\cos(\omega^\top \Delta x)] . ]
이 기대값을 Monte‑Carlo 샘플로 근사하면 Random Fourier Features (RFF)가 된다. -
Learning the spectral distribution –
- RBM(단일 또는 다층)은 이진 히든 유닛에 대한 확률 분포를 정의한다.
- 양자 어닐러는 유한 온도에서 이 RBM으로부터 샘플을 추출하여 이산 이진 벡터를 만든다.
- 각 이진 샘플 (\mathbf{h})는 Gaussian‑Bernoulli 변환을 통해 연속 주파수 (\omega)로 매핑된다(즉, (\omega = W\mathbf{h} + b + \epsilon)이며 (\epsilon)는 가우시안 노이즈).
-
Constructing the kernel – 샘플링된 주파수를 사용해 커널의 RFF 근사를 구축한다. (\cos(\cdot))가 음수가 될 수 있어 Nadaraya–Watson에서 분모가 붕괴되는 문제를 방지하기 위해, 저자들은 커널 값을 제곱한다: (w_{ij}=k(x_i,x_j)^2). 이는 비음성을 보장하고 가중치를 더 날카롭게 만든다.
-
Training objective – 커널 파라미터(RBM 가중치, 가우시안 변환 파라미터)는 leave‑one‑out Nadaraya–Watson MSE를 최소화함으로써 최적화된다. 이 손실은 명시적인 교차 검증 루프 없이도 효율적으로 계산할 수 있다.
-
Inference – 테스트 시에는 학습된 스펙트럼 분포를 사용해 더 많은 RFF 샘플을 추출한다(“inference‑time” 피처 수는 학습 시보다 클 수 있다). 제곱 커널 가중치를 이용해 표준 Nadaraya–Watson과 로컬 선형 회귀 변형 두 가지를 평가한다.
Results & Findings
| Dataset | Baseline (Gaussian NW) | QA‑RFF NW (trained) | QA‑RFF + more features (inference) |
|---|---|---|---|
| Boston Housing | (R^2) = 0.71, RMSE = 4.9 | (R^2) = 0.78, RMSE = 4.2 | (R^2) = 0.81, RMSE = 3.9 |
| Concrete | 0.62 / 6.5 | 0.68 / 5.9 | 0.71 / 5.6 |
| … | … | … | … |
- Training loss가 QA‑생성 스펙트럼 분포가 데이터에 맞게 적응함에 따라 일관되게 감소합니다.
- Kernel matrix structure가 부드럽고 등방성인 패턴(Gaussian)에서 보다 비등방성이고 데이터에 정렬된 형태로 변형되며, 이는 학습된 커널이 작업‑특정 유사성을 포착한다는 것을 나타냅니다.
- 추론 시 랜덤 피처를 증가시키면(예: 500개에서 2000개로) 단조로운 개선이 나타나며, 학습된 스펙트럼 분포가 견고하고 재학습 없이도 더 촘촘히 샘플링될 수 있음을 확인합니다.
전반적으로, QA‑강화 커널은 모든 테스트 회귀 문제에서 표준 Gaussian 커널 베이스라인보다 예측 정확도((R^2)와 RMSE 모두) 측면에서 높은 성능을 달성합니다.
실용적 함의
- Quantum‑augmented ML pipelines: 개발자는 이제 QA 하드웨어를 일반적인 최적화기가 아니라 학습 가능한 구성 요소로 고려할 수 있어, 하이브리드 양자‑클래식 모델에 대한 가능성이 열립니다.
- Kernel‑based regression in production: 제곱 커널 가중치 트릭은 Nadaraya–Watson에서 오래된 수치적 문제를 해결하여, 이 방법을 실시간 서비스(예: 추천 점수 계산, 센서 보정)에서 보다 신뢰할 수 있게 만듭니다.
- Scalable feature generation: RBM‑유도 스펙트럼 분포를 추론 시 임의로 원하는 만큼 샘플링할 수 있기 때문에, 사용 가능한 컴퓨팅 자원에 따라 접근 방식이 확장됩니다—높은 정확도를 위해 RBM을 다시 학습할 필요가 없습니다.
- Hardware‑agnostic design: 논문에서는 D‑Wave‑style QA를 사용했지만, Gibbs 분포를 근사하는 어떤 샘플러(예: simulated annealing, parallel tempering)라도 교체하여 사용할 수 있어, 개발자가 양자 장치로 옮기기 전에 클래식 하드웨어에서 프로토타입을 만들 수 있습니다.
제한 사항 및 향후 작업
- 유한‑온도 및 노이즈: 스펙트럼 샘플의 품질은 어닐러의 온도와 노이즈 프로파일에 의존합니다; 보정이 부정확하면 커널 학습이 저하될 수 있습니다.
- RBM 깊이와 하드웨어 제약: 다층 RBM은 표현력을 향상시키지만 현재 QA 칩의 큐비트 연결 제한을 빠르게 초과합니다.
- 벤치마크 범위: 실험은 중간 규모 회귀 데이터셋에 초점을 맞추었으며, 고차원 또는 대규모 데이터에 대한 확장성은 아직 검증되지 않았습니다.
- 미래 연구 방향은 저자에 의해 제안되었으며, 대안 생성 모델(예: 양자 볼츠만 머신) 탐색, 접근법을 딥 커널 학습 프레임워크와 통합, 커널 적응성이 동일하게 중요한 분류 또는 구조화 예측 작업에 대한 평가 등을 포함합니다.
저자
- Yasushi Hasegawa
- Masayuki Ohzeki
논문 정보
- arXiv ID: 2601.08724v1
- 카테고리: quant-ph, cs.LG
- 출판일: 2026년 1월 13일
- PDF: PDF 다운로드