실험실에서 잘 작동하던 AI가 현장에서 실패하는 이유와 실제 해결책

Source: VentureBeat

Presented by Capital One

기업들은 AI 실험 자체에 어려움을 겪는 것이 아니라, 실제 현장에서 작동하도록 만드는 데 어려움을 겪고 있습니다. 유망한 프로토타입을 신뢰할 수 있는 프로덕션 규모 시스템으로 전환하는 단계에서 대부분의 시도가 멈춥니다.

Capital One의 AI Foundations 조직에서 일하면서, 성공적인 AI 구현은 최신 모델이나 도구를 도입하는 것만으로는 충분하지 않다는 것을 직접 보았습니다. 이는 기초 연구와 실제 시스템을 연결하고, 아이디어가 개념에서 프로덕션으로 이동할 때 책임을 묻는 체계적인 R&D 접근이 필요합니다.

쉽게 들리는 말이지만 결코 간단하지 않습니다. AI 기술은 빠르게 진화하지만, 기업 환경은 복잡하고 파편화되어 있으며 위험을 중시합니다. 중요한 질문은 “무엇이 가능한가?”가 아니라 “오늘날의 기술과 제약 하에서 특정 워크플로, 사용자, 의사결정에 실제로 작동하는 것이 무엇인가?”입니다.

아래 내용은 조직이 보다 신중한 연구, 평가, 배포 접근 방식을 통해 AI 야망을 실제 프로덕션으로 전환할 수 있는 방법을 제시합니다.

Bridging foundational and applied research

영향력 있는 AI를 제공하려면 최첨단 연구와 실용적인 실제 사용 사례 사이의 격차를 메워야 합니다. 연구가 운영 현실과 동떨어진 학술적 진공 상태에 머무르면, 오프라인 환경에서는 좋은 성능을 보이던 모델도 실시간 지연 요구사항과 복잡한 라이브 프로덕션 데이터 앞에서 부족하게 됩니다. 피드백 루프가 촘촘하지 않으면 최종 사용자를 위해 실제로 가치를 창출하는 것이 무엇인지 놓치기 쉽습니다.

우리 AI 팀은 기초 연구부터 고도화된 문제 해결까지 스펙트럼 전체를 포괄하도록 의도적으로 설계되었습니다. 이는 프로젝트가 교착 상태에 빠지기 전에 마찰 지점을 사전에 해결하도록 돕습니다. 이 통합 모델은 연구와 적용을 하나의 우산 아래에 두어, 근본 기술을 탐구하면서도 실제 비즈니스와 직원 요구에 기반을 두게 합니다. 기초 연구와 적용 개발이 설계 단계부터 연결되면 학습 속도를 높이고, 막다른 길을 피하며, 현실 제약을 초기 단계에서 반영할 수 있습니다.

Capital One에서는 이 접근 방식을 통해 사기 탐지 개선, 디지털 사용자 경험 향상, 고객 중심 기술 강화 등 금융 서비스 핵심 과제를 해결해 왔습니다.

예를 들어, 멀티 에이전트 아키텍처 결합에 대한 우리의 연구는 단순한 LLM 추론을 넘어, 고객 컨텍스트 조사와 문서 작성 같은 서로 다른 작업을 동시에 수행할 수 있는 특화된 AI 에이전트 간 협업을 목표로 합니다. 이 연구는 자동차 구매 솔루션인 Chat Concierge 출시를 지원했으며, 단순히 정보를 제공하는 것이 아니라 고객 요청에 따라 행동을 취하도록 인간의 추론 방식을 모방합니다. 또한 에이전트 서비스, AI 개인화 등 최첨단 솔루션을 제공하는 데 선구적인 역할을 하고 있습니다. 연구를 사용 사례에 묶어 두면 실제 현장에서 확장 가능한 최첨단 혁신을 가속화할 수 있습니다.

Moving AI from concept to production

모든 AI 아이디어가 바로 프로덕션으로 가야 하는 것은 아닙니다. 개념 증명(PoC) → 파일럿 → 프로덕션 단계의 엄격한 평가가 실제로 확장할 가치가 있는지를 판단하는 데 필수적이며, 각 단계가 솔직한 관문으로 작용해야 합니다. 고려해야 할 사항은 다음과 같습니다.

• 개념 증명은 이론이 아니라 실질적인 기능을 보여야 합니다. “우리가 할 수 있는 일”이라는 슬라이드덱이 아니라, 실제로 무언가를 측정 가능한 방식으로 수행하는 머신이어야 합니다. 이 단계에서도 작업을 계속 진행할 가치가 있다는 객관적인 신호가 필요합니다.
• 파일럿 결과가 부정적이라고 해서 실패는 아닙니다. 파일럿이 정의상 항상 “성공”한다면, 이는 의사결정 포인트 역할을 하지 못하고 단지 프로덕션으로 가는 느린 커밋에 불과합니다. 파일럿은 범위와 현실성을 확대하여, 솔루션이 실제 인간의 업무에 도움이 되는지를 판단할 귀중한 데이터를 제공해야 합니다.
• 프로덕션은 팀 스포츠입니다. 핵심 모델이나 알고리즘 문제를 해결하는 것만으로는 충분하지 않습니다. 프로덕션으로 옮기려면 소프트웨어 엔지니어링, 데이터 사이언스, 제품·디자인, 기술 프로그램 매니지먼트, 운영 등 기업 전반에 걸친 다기능 협업이 필요합니다. 기술적 돌파구는 필수이지만, 그것이 작업의 끝은 아닙니다.

이 여정 내내 측정은 중요한 입력값입니다. Capital One에서는 궁극적인 ROI가 만족한 고객이므로, 정확도, 지연 시간 등 여러 핵심 AI 성과 지표를 집중적으로 모니터링합니다. 개선 여부를 판단할 수 없으면 개선도 이룰 수 없습니다. 외관보다 정확성을 우선시하는 것이 지속적인 개선과 진보를 가능하게 합니다.

Enabling continuous learning and responsible innovation

지속 가능한 AI 혁신은 기술만큼이나 문화에 달려 있습니다. 연구는 미지의 영역을 탐구하는 과정이기에 불확실성은 자연스럽습니다. 건강한 문화는 이를 인식하고, 정보에 기반한 위험 감수를 허용하면서도 책임을 묻는 공간을 만듭니다.

조직은 코스‑수정(코스 커렉션)을 장려해야 합니다. “이건 안 된다”는 사실을 재난으로 치부하면 팀은 문제를 숨기려 하고, 해결 대신 회피하게 됩니다. 반면 팀이 솔직하게 평가하고, 필요 시 방향을 전환하며, 초기 실패에서 교훈을 얻도록 격려하면 조직은 더 빠르고 안전하게 움직일 수 있습니다. 즉, 파일럿을 실제 의사결정 포인트로 다루어 데이터가 보여주는 대로 중단·재구성·범위 축소 등을 수행해야 합니다. Capital One에서는 팀이 야심찬 시도를 빠르게 학습하고, AI가 유용하고 신뢰할 수 있으며 안전하도록 보장하는 생태계를 구축하도록 지원합니다.

Final thoughts

영향력 있는 AI를 구축하는 것은 모든 새로운 돌파구를 쫓는 것이 아니라, 아이디어를 연구 단계에서 현실 단계로 신중히 안내하는 과정입니다. 이는 평가, 협업, 학습을 중시하는 문화가 뒷받침될 때 비로소 가능합니다.

AI가 계속 진화함에 따라 리더들은 도구뿐 아니라 R&D 프로세스와 책임감 있게 혁신을 확장할 수 있는 문화적 기반에도 투자해야 합니다. 연구와 적용을 연결하고, 지속적인 평가와 측정을 우선시하며, 팀이 학습하고 적응할 수 있는 환경을 조성하면, AI는 기업 규모에서 실제 세계에 지속적인 영향을 미칠 최고의 기회를 얻게 됩니다.

Liz Boschee, VP, AI Foundations at Capital One.

Sponsored articles are content produced by a company that is either paying for the post or has a business relationship with VentureBeat, and they’re always clearly marked. For more information, contact sales@venturebeat.com.