OpenAI의 AI 데이터 에이전트, 두 엔지니어가 구축, 현재 4,000명 직원에게 서비스 제공 — 그리고 회사는 누구든 복제할 수 있다고 말한다

Source: VentureBeat

지난 해 OpenAI 재무 분석가가 지역별 및 고객군별 매출을 비교해야 할 때, 수시간이 걸렸다 — 70,000개의 데이터셋을 뒤지고, SQL 쿼리를 작성하고, 테이블 스키마를 검증하는 작업이었다.
오늘날, 같은 분석가는 Slack에 평범한 영어 질문을 입력하면 몇 분 안에 완성된 차트를 받아볼 수 있다.

• 세 명의 엔지니어가 3개월 만에 구축했다.
• 코드의 70 %가 AI에 의해 작성되었다.
• OpenAI 전체 약 5,000명 직원 중 4,000명 이상이 매일 사용하고 있어, 기업 내부 AI 데이터 에이전트 중 가장 공격적인 배포 사례 중 하나다.

VentureBeat와의 독점 인터뷰에서 OpenAI 데이터 인프라 책임자인 Emma Tang은 시스템 내부를 드문 시각으로 들여다보았다 — 작동 방식, 실패 사례, 그리고 기업 데이터의 미래에 대해 시사하는 바를 설명한다. 이 대화와 회사 블로그에 발표된 도구 소개 글을 함께 보면, 자체 AI를 스스로에게 적용해 모든 기업이 곧 마주하게 될 무언가를 발견한 회사의 모습을 그릴 수 있다:

조직을 더 똑똑하게 만드는 병목 현상은 더 좋은 모델이 아니라 더 좋은 데이터다.
“이 에이전트는 모든 종류의 분석에 사용됩니다,” 라고 Tang은 말했다. “회사 내 거의 모든 팀이 이를 활용하고 있습니다.”

Source:

600 PB 규모의 기업 데이터에 대한 평문 영어 인터페이스

Tang의 Data Platform 팀(인프라 부서 소속, 빅데이터 시스템, 스트리밍, 데이터 툴링 레이어 담당)은 이 거대한 내부 사용자 기반에 서비스를 제공합니다.

에이전트 접근 방법

• Slack
• 웹 인터페이스
• IDE
• Codex CLI
• OpenAI 내부 ChatGPT 앱

GPT‑5.2 기반으로 구축된 이 에이전트는 평문 영어 질문을 받아 차트, 대시보드, 장문 분석 보고서를 반환합니다. VentureBeat와 공유된 후속 응답에서 팀은 이 에이전트가 쿼리당 2~4시간의 작업 시간을 절감한다고 추정했습니다. Tang은 측정하기 더 어려운 큰 효과를 강조했습니다:

“이 에이전트는 사람들이 이전에는 할 수 없었던 분석에 접근할 수 있게 해 줍니다. 시간이 얼마나 있든 관계없이 말이죠.”
“엔지니어, 성장, 제품 팀뿐 아니라 회사 데이터 시스템과 테이블 스키마에 대한 모든 세부 정보를 알지 못하는 비기술 팀도 이제 스스로 정교한 인사이트를 끌어낼 수 있습니다.”

매출 분석부터 지연 시간 디버깅까지 – 하나의 에이전트가 모두 수행

• Finance – 지역 및 고객 코호트별 매출 비교.
• Product Management – 기능 채택 이해.
• Engineering – 성능 퇴보 진단 (예: “특정 ChatGPT 구성 요소가 어제보다 느린가요? 어떤 지연 시간 요소가 변화를 설명하나요?”).
• Cross‑departmental analysis – 판매 데이터, 엔지니어링 메트릭, 제품 분석을 하나의 쿼리로 결합합니다. 이는 대부분의 엔터프라이즈 AI 에이전트가 사일로화되어 있어 할 수 없는 작업입니다.

“우리는 부서별로 출시하면서 각 그룹에 맞는 메모리와 컨텍스트를 맞춤화했지만, 어느 순간 모두 같은 데이터베이스에 들어가게 되었습니다.” – Tang

Codex가 기업 데이터에서 가장 어려운 문제를 해결한 방법

가장 어려운 기술적 과제: 70,000개의 데이터셋 중 올바른 테이블 찾기.

Codex(OpenAI의 AI 코딩 에이전트)는 세 가지 역할을 수행합니다:

1. 프런트엔드 게이트웨이 – 사용자는 MCP를 통해 Codex를 이용해 데이터 에이전트에 접근합니다.
2. 코드 생성기 – Codex가 **에이전트 코드의 > 70 %**를 생성해 두 명의 엔지니어가 3개월 만에 제품을 출시할 수 있게 했습니다.
3. 일일 비동기 강화 프로세스 – Codex는 중요한 데이터 테이블을 검토하고, 기반 파이프라인 코드를 파싱하여 각 테이블의:
   • 상위 및 하위 종속성
   • 소유자
   • 세분화 수준
   • 조인 키
   • 유사 테이블

“프롬프트를 주고, Codex가 코드를 살펴본 뒤 우리가 필요한 정보를 응답하게 하고, 이를 데이터베이스에 저장합니다.” – Tang

사용자가 매출에 대해 질문하면, 에이전트는 벡터 데이터베이스를 검색하여 Codex가 이미 해당 개념에 매핑한 테이블을 찾습니다.

에이전트가 사용하는 여섯 가지 컨텍스트 레이어

팀은 또한 역사적 쿼리 패턴을 계층화합니다. “모든 쿼리 히스토리는 모두의 ‘select star, limit 10’입니다. 별로 도움이 되지 않아요.” 라고 Tang이 언급했습니다.

요약

• 속도: 이전에 몇 시간이 걸리던 쿼리가 이제는 몇 분 안에 완료됩니다.
• 접근성: 비기술 직원도 데이터 스키마에 대한 깊은 지식 없이 정교한 분석을 수행할 수 있습니다.
• 교차 기능 인사이트: 단일 에이전트가 전통적으로 사일로화된 부서 간 데이터를 결합할 수 있습니다.
• AI‑생성 인프라: Codex는 에이전트 코드 대부분을 작성했을 뿐만 아니라 데이터 카탈로그를 지속적으로 풍부하게 하여 방대한 비정형 데이터 레이크를 검색 가능한 지식 베이스로 전환합니다.

OpenAI의 AI 데이터 에이전트는 기업의 다음 경계는 더 큰 모델이 아니라, 올바른 데이터를 즉시 활용할 수 있게 하는 더 스마트하고 AI‑보강된 데이터 파이프라인임을 보여줍니다.

정규 대시보드 및 경영 보고서

“정규 대시보드와 경영 보고서는 — 분석가들이 올바른 표현을 결정하기 위해 상당한 노력을 투자한 경우 — ‘진실의 원천’ 으로 표시됩니다. 그 외의 것은 우선순위가 낮아집니다.”

AI를 느리게 하고 생각하게 만드는 프롬프트

6개의 컨텍스트 레이어가 있음에도 불구하고, Tang은 에이전트의 가장 큰 행동 결함인 과신에 대해 놀라울 정도로 솔직했다.

“정말 큰 문제예요. 모델이 자주 하는 일이 과신하는 느낌을 갖는 것이거든요.” Tang이 말했다. “‘이 테이블이 맞다’고 말하고 바로 분석을 시작하죠. 그게 실제로는 잘못된 접근법이에요.”

해결책: 프롬프트 엔지니어링

해결책은 에이전트가 탐색 단계에 머무르게 하는 프롬프트를 통해 나왔습니다. 이 프롬프트는 마치 주니어 분석가를 코칭하는 듯합니다:

“이걸 바로 진행하기 전에, 정말 이 테이블이 맞는지 더 많이 검증해 주었으면 합니다. 그래서 실제 데이터를 만들기 전에 더 많은 소스를 확인해 주세요.”

Tang의 평가에서 얻은 핵심 교훈

• 탐색에 더 많은 시간 → 더 나은 결과.
• 덜 많은 컨텍스트가 더 나은 결과를 만들 수 있음.

“모든 것을 한꺼번에 넣고 더 잘될 거라고 기대하는 건 매우 쉽습니다.” Tang이 말했다. “우리 평가에서는 오히려 반대가 나타났어요. 줄여줄수록, 그리고 컨텍스트가 더 선별되고 정확할수록 결과가 더 좋아집니다.”

신뢰 구축

• 에이전트는 중간 추론 과정을 실시간으로 사용자에게 스트리밍합니다.
• 선택한 테이블과 그 이유를 노출하고, 기본 쿼리 결과에 직접 연결합니다.
• 사용자는 분석 중간에 에이전트를 중단하고 방향을 전환할 수 있습니다.
• 시스템은 진행 상황을 체크포인트하여 실패 후에도 재개할 수 있게 합니다.
• 모든 작업이 끝날 때마다 모델은 자신의 성과를 평가합니다:

“우리는 모델에게 ‘그 결과가 어땠다고 생각해? 좋았나요, 나빴나요?’ 라고 물어요.” Tang이 말했다. “그리고 모델은 자신이 얼마나 잘 수행했는지 평가하는 데 꽤 능숙합니다.”

고의적으로 단순한 가드레일 — 그리고 놀라울 정도로 효과적

안전성에 관해서, Tang은 기업들이 기대하는 정교한 AI 정렬 기술보다 실용적인 접근 방식을 취했습니다.

“아마도 더 멍청한 가드레일을 더 많이 가져야 할 것 같아요,” 라고 그녀는 말했습니다.

핵심 가드레일

1. 강력한 접근 제어 – 에이전트는 항상 사용자의 개인 토큰을 사용하므로 사용자가 접근할 수 있는 것만 접근할 수 있습니다.
2. 인터페이스 레이어 전용 – OpenAI 데이터에 적용되는 동일한 권한을 상속받으며 공개 채널에 나타나지 않습니다; 오직 비공개 채널이나 사용자의 자체 인터페이스에만 존재합니다.
3. 쓰기 제한 – 쓰기 권한은 임시 테스트 스키마에만 제한되며, 주기적으로 삭제되고 공유될 수 없습니다.
4. 무작위 쓰기 금지 – 에이전트는 시스템에 임의로 쓰지 않습니다.

피드백 루프

• 직원들이 잘못된 결과를 직접 플래그하면 팀이 조사합니다.
• 모델의 자체 평가가 추가적인 안전 검사를 제공합니다.

향후 방향

Tang은 장기 계획이 다중 에이전트 아키텍처로 전환하여 특화된 에이전트들이 서로를 모니터링하고 지원하는 것이라고 언급했습니다:

“우리는 결국 그 방향으로 나아가고 있지만, 현재 상태만으로도 꽤 멀리 왔습니다.”

왜 OpenAI는 이 도구를 판매하지 않을까 — 대신 여러분이 직접 만들길 원하는 이유

명백한 상업적 잠재력에도 불구하고 OpenAI는 VentureBeat에 내부 데이터 에이전트를 제품화할 계획이 없다고 밝혔습니다. 대신 전략은 구성 요소를 제공해 기업이 자체 솔루션을 구축하도록 하는 것입니다.

“우리는 외부에 공개된 모든 API를 그대로 사용합니다,” Tang이 말했습니다. “Responses API, Evals API. 우리는 파인‑튜닝된 모델이 없습니다. 그냥 5.2를 사용합니다. 따라서 여러분도 충분히 이를 만들 수 있습니다.”

지원 생태계

• OpenAI Frontier (2월 초 출시) – 기업이 AI 에이전트를 구축하고 관리할 수 있는 엔드‑투‑엔드 플랫폼.
• McKinsey, BCG, Accenture, Capgemini과의 파트너십을 통해 플랫폼을 판매·구현.
• AWS + OpenAI가 Amazon Bedrock용 Stateful Runtime Environment를 공동 개발 중이며, 이는 OpenAI 데이터 에이전트의 일부 지속 컨텍스트 기능을 모방합니다.
• Apple이 최근 Codex를 Xcode에 직접 통합했습니다.

Codex 도입 현황

• **OpenAI 엔지니어의 95 %**가 사용하며, 모든 풀 리퀘스트를 병합 전에 검토합니다.
• 전 세계 주간 활성 사용자 수가 연초 이후 3배 증가해 100만 명을 돌파했습니다.
• 전체 사용량이 5배 이상 성장했습니다.

“Codex는 이제 코딩 도구가 아닙니다. 그보다 훨씬 더 큰 존재죠,” Tang이 말했습니다. “비기술 팀이 생각을 정리하고, 슬라이드를 만들고, 일일 요약을 작성하는 데 활용하는 모습을 보고 있습니다.”

한 엔지니어링 매니저는 매일 아침 Codex가 그녀의 메모를 검토하고, 가장 중요한 작업을 식별하며, Slack 메시지와 DM을 끌어와 답변 초안을 작성하도록 하고 있습니다. “많은 면에서 그녀를 대신해서 작동하고 있는 셈이죠,” Tang이 덧붙였습니다.

AI‑에이전트 경쟁에서 누가 승리할지를 결정할 비매력적인 전제조건

OpenAI의 경험에서 다른 기업들이 배워야 할 점을 물었을 때, Tang은 모델 능력이나 영리한 프롬프트 엔지니어링을 언급하지 않았다. 그녀는 훨씬 더 일상적인 것을 강조했다:

“이것은 매력적이지 않지만 데이터 거버넌스는 데이터 에이전트가 잘 작동하기 위해 정말 중요합니다,” 라고 그녀는 말했다. “데이터가 충분히 깨끗하고 충분히 주석이 달려 있어야 하며, 에이전트가 탐색할 수 있는 어딘가에 진실의 출처가 있어야 합니다.”

핵심 포인트

• 기본 인프라—스토리지, 컴퓨팅, 오케스트레이션, 비즈니스 인텔리전스 레이어—에이전트에 의해 대체되지 않았습니다.
• 에이전트가 작업을 수행하려면 여전히 이러한 도구가 필요합니다.
• 에이전트는 데이터 인텔리전스를 위한 근본적으로 새로운 진입점 역할을 하며, 이전 어느 것보다 더 자율적이고 접근하기 쉬운 인터페이스를 제공합니다.

Tang은 인터뷰를 마무리했습니다.

“이를 도입하는 기업은 매우 빠르게 혜택을 보게 될 것입니다,” 라고 그녀는 말했다.
“도입하지 않는 기업은 뒤처지게 될 것입니다. 이것은 갈라지게 만들 것입니다. 이를 사용하는 기업은 매우, 매우 빠르게 발전할 것입니다.”

그 가속이 자신의 동료들을, 특히 Block과 같은 기업에서 최근 대규모 정리 이후에 걱정하게 하는지 물었을 때 Tang은 잠시 멈췄다.

“우리 회사가 할 수 있는 일의 양은 가속화되었지만,” 라고 그녀는 말했다, “그럼에도 불구하고 우리의 야망에는 전혀 미치지 못합니다.”