AI Pilot이 실패한 진짜 이유 (그리고 시도 #2를 고치는 방법)

Source: Dev.to

일반적인 실패 이유

• 팀이 솔루션을 구축하고 배포했지만 작동 여부를 측정할 합의된 방법이 없었다.
  • “도움이 되는 느낌이다”는 지표가 아니다.
  • “지원 티켓 해결 시간이 6시간에서 45분으로 단축되었다”는 지표다.
• 사전에 성공 기준을 정의하지 않으면 모든 AI 프로젝트는 결국 느낌에 의해 판단되며, 이는 예산 정당화에 도움이 되지 않는다.
• 팀이 흥미롭게 느껴지는 프로젝트를 선택했지만 실제로 병목 현상이 있는 프로젝트는 아니었다.

좋은 AI 파일럿의 조건

AI는 워크플로우가 다음 네 가지 기준 중 세 가지 이상을 만족할 때 가장 효과적이다:

1. 입력이 구조화되어 있다 (또는 최소한의 노력으로 구조화할 수 있다).
2. 볼륨이 높다 – 하루에 최소 50개의 결정.
3. 결과가 정의 가능하고 측정 가능하다.
4. 현재 프로세스에 반복적인 인지 작업을 하는 인간이 포함되어 있다.

이 기준 중 세 가지 이상을 충족하지 못한다면, 시작점으로 적합하지 않을 가능성이 높다.

흔히 빠지는 함정

• 도구를 만들고 요청하지도 않았고, 이해하지도 못했으며, 사용할 동기도 없는 팀에 넘겨줬다.
  • 채택되지 않은 기술은 단순히 비용일 뿐이다.

해결 방법

1. 구축을 시작하기 전에 최종 사용자를 참여시킨다.

   • 그들이 겪는 고통이 무엇인지 물어본다.
   • 프로토타입을 일찍 보여준다.
   • 출력 형식을 그들이 설계하도록 한다.

2. 희망사항이 아니라 실제 병목 현상이 있는 워크플로우를 선택한다.

3. 구축 전에 성공을 숫자로 정의한다.

   • 응답 시간, 오류율, 주당 절감 시간 등.
   • 이러한 지표를 문서화한다.

4. 플랫폼이나 전체 변환이 아니라 하나의 워크플로우부터 시작한다.

5. 팀을 일찍 끌어들인다. 시스템을 사용할 사람들이 어떻게 작동해야 하는지에 영향을 미쳐야 한다.

6. 30일 체크포인트를 설정한다. 30일 이내에 지표가 움직이지 않으면 원인을 진단하거나 방향을 전환한다.

결론

두 번째 시도에서 AI를 제대로 구현한 기업은 반드시 예산이 큰 기업이 아니라, 첫 번째 시도가 왜 실패했는지 이해하는 데 시간을 투자한 기업이다.

Othex Corp.에서 중소기업을 위한 AI 시스템을 구축합니다. 우리는 팀이 실패한 파일럿을 생산 워크플로우로 전환하도록 돕습니다.