하루에 80억 토큰이 AT&T에게 AI 오케스트레이션을 재고하도록 강요하고 비용을 90% 절감
Source: VentureBeat
AT&T에서 에이전트형 AI 확장
일일 평균 토큰 사용량이 하루에 80억 토큰에 달한다면, 규모 문제는 거대합니다.
AT&T에서도 같은 상황이었고, 최고 데이터 책임자 Andy Markus와 그의 팀은 모든 작업을 대형 추론 모델에 넣는 것이 실현 가능하지도, 경제적이지도 않다는 것을 깨달았습니다.
해결책: 다중‑에이전트 스택
- LangChain을 사용해 오케스트레이션 레이어를 재구성했습니다.
- “슈퍼 에이전트”(대형 언어 모델)를 구축해, 더 작고 목적‑지향적인 워커 에이전트들을 지시하도록 했습니다.
“나는 에이전트형 AI의 미래가 수많은 작은 언어 모델(SLM)이라고 믿습니다. 우리는 작은 언어 모델이 특정 도메인 영역에서는 대형 언어 모델만큼 정확하거나 그보다 더 정확하다는 것을 발견했습니다.” – Andy Markus
보고된 혜택
| 지표 | 결과 |
|---|---|
| 지연 시간 / 속도 | 크게 개선됨 |
| 비용 | 최대 90 % 절감 |
| 응답 시간 | 더 빠르고 일관됨 |
Ask AT&T 워크플로우
- 직원들이 작업을 자동화할 수 있도록 그래픽 드래그‑앤‑드롭 에이전트 빌더 제공.
- 에이전트는 AT&T 고유의 도구 모음(문서 처리, NL‑to‑SQL 변환, 이미지 분석)에서 데이터를 끌어옵니다.
“워크플로우가 실행될 때, 실제로 결정을 내리는 것은 AT&T의 데이터입니다.” – Markus
- Human‑in‑the‑loop: 모든 행동이 로그에 기록되고, 데이터는 격리되며, 역할 기반 접근 제어가 적용됩니다.
“일부 작업은 자동으로 진행되지만, 루프에 있는 인간이 전체 프로세스에 대한 검증과 균형을 제공합니다.” – Markus
과잉 구축 방지: 교체 가능하고 선택 가능한 모델
- AT&T는 “모든 것을 처음부터 구축한다”는 사고방식을 피합니다.
- 교체 가능하고 선택 가능한 모델에 의존하며, 일반적인 컴포넌트를 다시 만들지 않습니다.
- 빠른 반복: “무언가가 매주, 때로는 한 주에 여러 번 바뀝니다.”
평가 하이라이트
- Ask Data with Relational Knowledge Graph – Spider 2.0 텍스트‑to‑SQL 정확도 리더보드 1위.
- 기타 도구들은 BERT SQL 벤치마크에서 높은 점수를 기록.
- 핵심 프레임워크: LangChain + 파인‑튜닝 모델(RAG, 사내 알고리즘).
- Microsoft Azure와 파트너십을 맺어 벡터‑스토어 검색 기능을 활용.
Guiding principles
- 정확도 – 제약 조건 내에서 가능한 최고 수준을 목표.
- 비용 – 가치를 기준으로 지출을 비례하게 유지.
- 도구 응답성 – 낮은 지연 시간과 높은 신뢰성을 보장.
“때때로 우리는 과도하게 복잡하게 만들곤 합니다… 가끔은 솔루션이 과도하게 설계된 것을 보기도 했습니다.” – Markus
“빌더는 특정 도구가 실제로 에이전트형이어야 하는지 스스로 물어봐야 합니다. 더 간단한 단일‑턴 생성 솔루션으로 어느 정도 정확도를 달성할 수 있을까요? 어떻게 하면 이를 더 작은 조각으로 나눠 훨씬 더 정확하게 전달할 수 있을까요?” – Markus
대규모 도입
- 100 000+ 명의 직원이 Ask AT&T Workflows에 접근할 수 있습니다.
- > 50 % 가 매일 사용합니다.
- 생산성 향상이 **90 %**까지 보고되었습니다.
두 가지 사용자 여정
| 여정 | 설명 |
|---|---|
| Pro‑code | 사용자는 백그라운드에서 Python을 작성하여 에이전트 규칙을 정의합니다. |
| No‑code | “꽤 가벼운 사용자 경험”을 위한 드래그‑앤‑드롭 시각 인터페이스입니다. |
“최근 해커톤에서 숙련된 사용자조차도 로우‑코드 옵션으로 몰렸으며, 강력한 프로그래머임에도 불구하고 절반 이상이 이를 선택했습니다.” – Markus
실제 사례
- 네트워크 엔지니어 워크플로우:
- Agent 1 – 텔레메트리를 연관시키고, 문제를 식별하며, 변경 로그를 가져와서 장애 티켓을 엽니다.
- Agent 2 – 해결책을 제안하고, 패치 코드를 작성합니다.
- Agent 3 – 예방 조치를 포함한 사후 보고서를 생성합니다.
인간 엔지니어가 전체 체인을 모니터링하여 올바른 조치를 보장합니다.
Source: …
AI‑Fueled Coding: The Future
- AT&T는 코드 생성에 동일한 “작고 목적에 맞춘” 철학을 적용하여 AI‑fueled coding이라고 부르고 있습니다.
- Retrieval‑Augmented Generation (RAG)을 반영합니다: 개발자는 함수‑특정 빌드 아키타입이 어떻게 코드를 상호작용시켜야 하는지를 정의하는 IDE에서 작업합니다.
- 출력은 구조화된, 프로덕션‑레디 코드이며, 느슨한 스니펫이 아닙니다.
AI‑Fueled Coding: A Game Changer
“to production grade,” and could reach that quality in one turn. “We’ve all worked with vibe coding, where we have an agentic kind of code editor,” Markus noted. But AI‑fueled coding “eliminates a lot of the back and forth iterations that you might see in vibe coding.”
그는 이 코딩 기법을 **“실질적으로 소프트웨어 개발 주기를 재정의한다”**고 보며, 궁극적으로 개발 기간을 단축하고 프로덕션‑그레이드 코드의 산출량을 늘린다고 말합니다. 비기술 팀도 평범한 언어 프롬프트를 사용해 소프트웨어 프로토타입을 만들 수 있습니다.
- 그의 팀은 20 분 만에 내부 큐레이션 데이터 제품을 구축했으며, AI 없이 하면 6주가 걸렸을 것입니다.
“We develop software with it, modify software with it, do data science with it, do data analytics with it, do data engineering with it,” Markus said. “So it’s a game changer.”
All quotes and data are attributed to Andy Markus and AT&T as reported in VentureBeat.