성공적인 기업 AI 에이전트 활용, 관건은 ‘설명가능성·정확도·통제’ 확보

Source: Byline Network

조사 주요 결과

• 응답자의 86% 이상이 업무에 AI 에이전트를 이용하고 있으며, 절반에 달하는 기업이 핵심 프로세스에 에이전트를 의존하고 있다.
• 2025년 기준 AI 도입률은 미국이 85% 이상으로 가장 높고, 한국은 67%로 7위에 올랐다.
• **64%**는 AI 에이전트가 단순 운영 업무 자동화에 더 효과적이라고 답했으며, 고차원적 비즈니스 판단에 전면 활용하겠다는 응답은 **11%**에 불과했다.
• **19%**는 AI 결과물의 생성 과정을 설명해 달라고 요구하고 있다.
• 데이터 리더 4명 중 3명은 “AI가 판단한 결과는 정확해도 설명할 수 없는 경우”를 더 큰 리스크로 판단한다.
• 그럼에도 **72%**는 설명성이 떨어져도 중요한 의사결정에 AI를 사용할 의향이 있으며, 80% 이상은 AI 에이전트의 의사결정에 자신의 직위를 걸 수 있다고 답했다.
• **47%**는 AI 기반 의사결정에 필요한 정확도를 8090%로 설정하고, **15%**만이 95100%를 요구한다.
• **59%**는 AI 에이전트의 환각(hallucination)·부정확성으로 비즈니스 문제를 경험했으며, 절반에 가까운 리더는 기대에 미치지 못해 사용을 중단한 경험이 있다.

자료: 데이터이쿠, 이미지: 바이라인플러스 웨비나 화면 캡처

핵심 과제: 설명가능성·정확도·통제

전 이사는 “글로벌 리더들이 공통적으로 주목하는 AI 키워드는 ‘설명가능성, 정확도, 통제’ 세 가지”라며, 성공적인 AI 에이전트 활용을 위해 다음과 같은 방안을 제시했다.

1. 설명가능성 확보

• 사람이 개입할 수 있어야 함: AI 결과를 수동적으로 받아들이기보다, 인간이 능동적으로 판단하고 이해할 수 있는 프로세스가 필요하다.
• Human‑in‑the‑Loop (HITL) 구축: 비즈니스 전문가가 워크플로우에 어떻게 개입할지 고민하고, 현업 담당자의 참여를 통해 AI 성과를 개선한다.
• 조사에 따르면 **91%**의 데이터 리더가 현업 담당자 개입 시 AI 성과가 향상될 것이라고 기대한다.

2. 정확도 향상

• 단순히 성능 좋은 모델이나 프롬프트 변경에 의존하지 말고, LLMOps(대규모 언어 모델 운영) 프레임워크를 구축한다.
• 여기에는 데이터 전처리, 배포 시 모니터링, 비용 관리, 결과물 품질 관리가 포함된다.

3. 통제 메커니즘

• 다양한 AI 기술을 표준화된 관점에서 통제할 수 있는 체계가 필요하다.
• 상용 LLM 서비스는 사용량 기반 비용이 발생하고, 로컬 LLM은 GPU 등 서버 자원을 많이 소모한다. 따라서 쉽고 효율적인 통제 방안이 요구된다.

자료: 데이터이쿠, 이미지: 바이라인플러스 웨비나 화면 캡처

데이터이쿠 솔루션

전 이사는 데이터이쿠가 AI 에이전트 구축·운영에 필요한 모든 요소를 갖춘 단일 플랫폼이라고 설명한다.

• 다양한 인터페이스를 제공해 기술 전문가와 비즈니스 전문가 모두가 손쉽게 AI 에이전트와 생성형 AI 애플리케이션을 만들고 관리할 수 있다.
• ML‑Ops 환경을 오랫동안 지원해 온 경험을 바탕으로, LLMOps 프레임워크를 손쉽게 구현할 수 있다.
• 가드레일 기능을 통해 토큰 사용량을 부서 예산에 맞춰 제어하고, 일정 수준 이상의 품질을 확보한다.
• 단일 화면에서 모든 에이전트를 관리하고 피드백을 모니터링함으로써 섀도우 AI를 방지하고, 보다 통제된 AI 에이전트 확산을 실현한다.
• RAG 기반 챗봇을 통한 검색 능력 향상, 복합 다중 에이전트를 활용한 업무 효율 극대화 사례도 보유하고 있다.

자료: 데이터이쿠, 이미지: 바이라인플러스 웨비나 화면 캡처

글: 바이라인네트워크
이유지 기자