매트릭스에서 모델로: 언제 비로소 ML을 안전하게 훈련시킬 수 있을까?

Source: Dev.to

대부분의 팀은 나쁜 모델 때문에 머신러닝에 실패하지 않습니다.
그들은 시스템이 학습할 준비가 되기 전에 모델을 학습시키려 하기 때문에 실패합니다.

행렬 기반 매칭 시스템을 출시한 후, 다음과 같은 질문은 피할 수 없습니다:

“좋아, 언제쯤 이걸 머신러닝으로 교체할 수 있을까?”

솔직히 답하려면 추상적인 머신러닝 이론에서 벗어나 실제 시스템이 어떻게 진화하는지를 살펴봐야 합니다.

실제 사례

B2B 마켓플레이스가 기업이 서비스 제공업체(에이전시, 벤더, 계약자)를 선택하도록 돕는다고 상상해 보세요.

이 플랫폼은 기대가 매우 다른 두 측면 사이에 위치합니다.

• 수요 측 – 일부 고객은 평판과 리스크를 중시하고, 다른 고객은 특화된 전문성을 우선시하며, 또 다른 고객은 속도와 유연성을 원합니다.
• 공급 측 – 제공업체는 규모, 성숙도, 신뢰도, 커뮤니케이션 스타일이 서로 다릅니다.

출시 시점에 플랫폼은:

• 과거 성과 데이터가 없으며,
• “성공”과 “실패” 매치를 명확히 구분할 개념이 없고,
• 신뢰할 수 있는 피드백 루프가 없습니다.

그럼에도 불구하고 사용자는 첫날부터 합리적인 추천을 기대합니다. (기사 상세 내용: Matrix‑first matching.)

왜 초기‑단계 ML이 어려운가

초기‑단계 마켓플레이스에서는:

• 거부된 공급자는 나쁜 매치를 의미하지 않으며,
• 선택된 공급자는 좋은 매치를 의미하지 않으며,
• 결과는 플랫폼 외 대화에 의존한다.

데이터 관점에서 보면:

• 라벨이 약하거나 없으며,
• 피드백이 지연되거나 모호하고,
• 사용자 행동은 기본값 및 UI 순서에 크게 좌우된다.

이 단계에서 모델을 학습시킨다고 해서 지능이 생기는 것이 아니라, 잡음의 자신감 있는 복제를 만든다.
문제는 모델 선택이 아니라, 우리가 생각하는 의미와 다른 신호로부터 학습하는 것이다.

명시적 사전 지식 소개

시스템이 처음부터 관련성을 학습하도록 요구하는 대신, 기대치를 인코딩하는 것으로 시작합니다:

• 보수적인 기업 고객은 기존 공급업체를 기대하고,
• 스타트업은 종종 규모가 작고 유연한 제공자를 선호하며,
• 규제 산업은 평판과 컴플라이언스를 우선시합니다.

이러한 기대는 소수의 안정적인 특징을 사용해 명시적으로 표현할 수 있습니다. 호환성 매트릭스(compatibility matrix) 가 바로 그 역할을 합니다:

• 도메인 지식을 인코딩하고,
• 제품 제약을 강제하며,
• 학습 데이터 없이도 일관된 동작을 생성합니다.

중요하게도, 매트릭스는 결과를 예측하는 것이 아니라 합리적인 범위를 정의합니다.

매트릭스의 세 가지 핵심 역할

1. 제약 강제 – 보수적인 고객에게 위험도가 높은 공급업체는 명시적인 거절 없이 억제됩니다.
2. 설명 가능성 제공 – 시스템이 “이 공급업체는 귀하의 요청 유형과 프로필이 일치하기 때문에 더 높은 순위를 차지합니다.” 라고 설명할 수 있습니다.
3. 초기 행동 형성 – 초기 상호작용은 통제된 의사결정 공간 내에서 이루어지며, 이는 이후 학습 데이터의 원천이 됩니다.

초기 매칭이 임의적이라면, 향후 학습 데이터도 임의적일 수밖에 없습니다.

머신러닝이 언제 실용적이 되는가?

시간이 지나면서 마켓플레이스는 다음을 관찰합니다:

• 어떤 공급자가 표시되었는지,
• 어떤 공급자가 후보에 올랐는지,
• 어떤 공급자가 연락을 받았는지,
• 어떤 거래가 진행되었는지.

핵심적으로:

• 이벤트가 의도적으로 기록됩니다,
• 성공 기준이 사전에 정의됩니다,
• 매칭 로직이 데이터 수집 동안 안정적으로 유지됩니다.

머신러닝은 데이터가 존재할 때가 아니라, 데이터가 의도된 시스템 행동을 반영할 때 실용적이 됩니다.
우연히 수집된 데이터는 학습에 거의 유용하지 않습니다.

매트릭스에서 모델로 전환하기

첫 번째 성공적인 전환은 일반적으로 비교적 단순한 모델을 포함합니다:

• learning‑to‑rank 모델,
• gradient‑boosted 트리,
• 단순 선형 모델.

호환성 매트릭스는 사라지지 않고, 또 다른 특성으로 변합니다. 모델은 다음을 학습합니다:

• 매트릭스가 과도하게 벌점을 줄 때,
• 예외가 발생할 때,
• 예상보다 더 중요한 신호는 무엇인지.

ML은 판단을 정교하게 만들지만, 이를 대체하지는 않습니다.

합성 데이터의 위험

일부 팀은 합성 데이터를 생성하여 학습을 가속화하려고 합니다. 특히 B2B 또는 규제된 마켓플레이스와 같은 시장에서는 합성 데이터가 다음을 전제로 하기 때문에 위험합니다:

• 알려진 분포,
• 알려진 성공 기준,
• 알려진 사용자 행동.

초기 단계 시스템은 이러한 요소가 전혀 없습니다. 상상된 결과에 대해 훈련된 모델은 허구의 사용자를 위해 최적화되며, 이는 불완전하지만 정직한 매트릭스를 사용하는 것보다 더 나쁩니다.

진화 단계

단계를 건너뛰는 것은 프로세스를 가속화하지 못하고 오히려 깨뜨립니다. 실제 시장, 특히 고위험 또는 규제된 시장에서는 ML이 시작 엔진이 아니라 터보차저입니다. 모델을 훈련하기 전에 시스템이 합리적으로 동작한다면 뒤처진 것이 아닙니다.

추가 읽기

• 파트 1 – Pairfect: pgvector + 제약
• 파트 2 – 매트릭스 먼저, 신경망 나중에
• 파트 3 – 언제 ML을 안전하게 학습할 수 있나요