AI 실패 해결: 기업이 지금 당장 해야 할 세 가지 변화
Source: VentureBeat
최근 AI 프로젝트 실패율에 대한 보고서는 AI에 막대한 투자를 하는 조직들에게 불편한 질문을 제기했습니다. 논의의 대부분은 모델 정확도와 데이터 품질 같은 기술적 요인에 초점을 맞추었지만, 수십 개의 AI 이니셔티브를 지켜보면서 개선의 가장 큰 기회는 종종 기술이 아니라 문화에 있다는 것을 알게 되었습니다.
고전하는 내부 프로젝트들은 공통된 문제를 공유하는 경향이 있습니다. 엔지니어링 팀은 제품 관리자가 어떻게 활용해야 할지 모르는 모델을 구축하고, 데이터 과학자는 운영 팀이 유지 관리에 어려움을 겪는 프로토타입을 만듭니다. AI 애플리케이션은 실제로 “유용함”이 무엇인지 결정하는 과정에 해당 애플리케이션을 사용할 사람들을 참여시키지 않았기 때문에 사용되지 않은 채 남아 있습니다.
반면, AI를 통해 의미 있는 가치를 창출한 조직들은 부서 간에 올바른 협업 방식을 구축하고, 결과에 대한 공동 책임을 확립하는 방법을 알아냈습니다. 기술도 중요하지만 조직의 준비도 그만큼 중요합니다.
엔지니어링을 넘어 AI 리터러시 확대하기
엔지니어만 AI 시스템이 어떻게 작동하고 무엇을 할 수 있는지 이해한다면 협업은 무너집니다. 제품 매니저는 이해하지 못하는 트레이드‑오프를 평가할 수 없고, 디자이너는 설명할 수 없는 기능에 대한 인터페이스를 만들 수 없으며, 분석가는 해석할 수 없는 결과를 검증할 수 없습니다.
해결책은 모두를 데이터 과학자로 만드는 것이 아니라, 각 역할이 AI가 자신의 업무에 어떻게 적용되는지 이해하도록 돕는 것입니다:
- 제품 매니저는 사용 가능한 데이터에 기반해 어떤 종류의 생성 콘텐츠, 예측, 혹은 추천이 현실적인지 파악해야 합니다.
- 디자이너는 AI가 실제로 할 수 있는 일을 이해해 사용자가 유용하게 느낄 기능을 설계해야 합니다.
- 분석가는 어떤 AI 출력이 인간 검증이 필요한지, 어떤 출력은 신뢰할 수 있는지를 알아야 합니다.
팀이 이러한 작업용 어휘를 공유하면 AI는 엔지니어링 부서에서만 일어나는 일이 아니라, 조직 전체가 효과적으로 활용할 수 있는 도구가 됩니다.
AI 자율성에 대한 명확한 규칙 설정
두 번째 과제는 AI가 스스로 행동할 수 있는 영역과 인간의 승인이 필요한 영역을 구분하는 것입니다. 많은 조직이 극단적인 방식을 택합니다. 모든 AI 결정을 인간 검토를 거치게 하여 병목 현상을 만들거나, 혹은 AI 시스템이 가드레일 없이 작동하도록 하는 것이죠.
필요한 것은 AI가 자율적으로 행동할 수 있는 위치와 방식을 정의하는 명확한 프레임워크입니다. 이는 다음과 같은 사전 규칙을 설정하는 것을 의미합니다:
- AI가 일상적인 구성 변경을 승인할 수 있나요?
- AI가 스키마 업데이트를 권고하되 실제 구현은 하지 않게 할 수 있나요?
- AI가 코드를 스테이징 환경에 배포는 할 수 있지만, 프로덕션에는 배포하지 못하게 할 수 있나요?
이러한 규칙은 세 가지 요소를 포함해야 합니다:
- 감사 가능성 – AI가 어떻게 결정을 내렸는지 추적할 수 있나요?
- 재현 가능성 – 결정 경로를 다시 만들 수 있나요?
- 관찰 가능성 – 팀이 AI 행동을 실시간으로 모니터링할 수 있나요?
이 프레임워크가 없으면 AI가 전혀 이점을 제공하지 못하도록 속도를 늦추게 되거나, 아무도 설명하거나 제어할 수 없는 결정을 내리는 시스템을 만들게 됩니다.
교차 기능 플레이북 만들기
세 번째 단계는 다양한 팀이 AI 시스템과 실제로 어떻게 작업하는지를 문서화하는 것입니다. 각 부서가 자체적인 접근 방식을 개발하면 결과가 일관되지 않고 중복된 노력이 발생합니다.
교차 기능 플레이북은 위에서 강제하기보다 팀이 함께 개발할 때 가장 효과적입니다. 이러한 플레이북은 다음과 같은 구체적인 질문에 답합니다:
- AI 추천을 프로덕션에 적용하기 전에 어떻게 테스트합니까?
- 자동 배포가 실패했을 때 우리의 대체 절차는 무엇입니까 – 인간 운영자에게 넘기나요, 아니면 먼저 다른 접근 방식을 시도하나요?
- AI 결정을 무시할 때 누가 참여해야 합니까?
- 시스템을 개선하기 위해 피드백을 어떻게 반영합니까?
목표는 관료주의를 추가하는 것이 아니라, 모든 사람이 AI가 기존 업무에 어떻게 맞춰지는지, 그리고 결과가 기대와 다를 때 무엇을 해야 하는지를 이해하도록 하는 것입니다.
앞으로 나아가며
AI 분야의 기술적 우수성은 여전히 중요하지만, 모델 성능에만 지나치게 집중하고 조직적 요인을 무시하는 기업은 피할 수 있는 문제에 처하게 됩니다. 제가 본 성공적인 AI 도입 사례들은 문화적 변혁과 워크플로우를 기술 구현만큼이나 진지하게 다룹니다.
문제는 여러분의 AI 기술이 충분히 정교한가가 아니라, 조직이 그것과 함께 일할 준비가 되었는가 입니다.