“AI 에이전트를 위한 뉜한 데이터 레이크”: AWS Context, 추론 역량 강화
출처: The New Stack
AI는 대량의 데이터를 소비하지만, 에이전트 지능 세계에서 무한히 먹을 수 있는 데이터는 결국 매력을 잃게 된다. 단순히 데이터베이스, 데이터 저장소 및 데이터 양을 늘린다고 해서 AI 기능이 추론할 수 있는 능력이 반드시 향상되지 않는다.
Context 에는 그렇지 않다.
에이전트는 자신이 접근할 수 있는 맥락만큼만 지능적이다. AI 알고리즘에 문맥을 포함시키기 위해 기술 업체들은 지식 그래프 사용의 장점을 찬양해 왔다.
AWS는 이 이야기를 매우 잘 알고 있다. 해당 기업의 광대한 데이터 센터 발자국은 고객을 대신해 방대한 맥락 풀을 보유하고 있지만, 그 맥락은 대체로 원시적이며 비정형화된 형태로 데이터 레이크, 데이터 웨어하우스, 데이터 레이크하우스, 데이터베이스, 데이터 스트림 등에서 존재한다.
또한 거의 문서화되지 않은 기관 지식까지 스며들어가는데, 이는 에이전트 엔진이 드물게 접근할 수 있다.
이 모든 것이 클라우드 거대 기업이 오늘 AWS New York Summit에서 AWS Context라는 새로운 서비스를 도입하게 된 이유를 설명한다. 이 서비스는 기존 기업 데이터에 존재하는 관계를 자동으로 지식 그래프로 매핑하고, 조직 내 AI 에이전트가 런타임에 관리되는 데이터 관계, 비즈니스 규칙 및 도메인 지식을 액세스할 수 있게 agente 검색 기능을 제공한다.
이 모든 것을 연결하는 것은 어려워 보인다. 지식 그래프는 단순한 키워드 매칭만으로는 작동할 수 있으며, 구조적·의미적_traversal_가 필요하다. 즉, 여러 정보 고립 및 저장소 사이를 여러 번-hop_하면서 맥락을 집계하고(예를 들어) 사이버 보안 취약점 A가 시스템 compromis B의 원인이 되는 이유, 그 자체가 코드베이스 C와 핵심 의존 관계에 있고, D라는 애플리케이션에서 실행되며 사용자 X, Y, Z를 오프라인 상태로 만들 위험이 있다는 설명을 할 수 있어야 한다. AWS는 이를 어떻게 달성하고 있는가?
## A data lake of nuance & information
Mai- Lan Tomsen Bukovec AWS 기술 (데이터 및 분석) 부사장 겸 데이터·분석 담당이 The New Stack에 AWS Context가 AI 에이전트가 올바르게 추론하고 비즈니스 결정을 내릴 수 있도록 돕는 “의미있는 데이터와 정보를 담은 호수”를 제공한다고 말했다.
“인간과 똑같이 다르지 않다. 우리가 행동을 취할 때, 우리는 도메인에 대한 맥락, 이전 결정 및 그 결과, 그리고 기타 정보에 의존한다.” – Mai- Lan Tomsen Bukovec, AWS.
Tomsen Bukovec는 이렇게 말했다. “인간과 똑같이 다르지 않다. 행동을 취할 때는 도메인에 대한 맥락, 이전 결정 및 그 결과, 그리고 기타 정보에 의존한다. AWS Context를 통해 AI 에이전트는 비즈니스 내 모든 형태의 데이터가 지식 그래프와 개방형 데이터 포맷으로 제공하는 뉘앙스를 모두 갖춘다. AWS Context는 AI 에이전트가 단순히 행동을 취하는 것과 올바른 결정을 내리는 것 사이의 차이를 만들어낸다.”
이 새로운 서비스를 수용할 기회를 갖는 소프트웨어 엔지니어들은 계획 수립 및 우선순위를 정하는 작업을 시작해야 한다. AI 개발자와 데이터 과학자들은 기존 기업 데이터를 AWS Context 기능을 활용해 컨텍스트 인식 에이전트로 만들 때 처음에 어떤 데이터를 우선시하고, 어떤 데이터를 ‘먹이는’ 것을 통제할 수 있는지를 질문한다.
행운히도, 제어 옵션이 존재한다는 것이 보인다.
“개발자가 AWS Context에 정보를 포함시키지 않도록 특정 데이터셋(예: 테스트 데이터 또는 샌드박스 환경)을 차단할 수 있는 능력을 제공한다,” Tomsen Bukovec은 말했다. “AWS Context는 데이터 리소스 간 관계가 변경될 때마다 지속적으로 업데이트되므로, AI 개발자의 개입 없이도 에이전트는 최신 맥락을 갖출 수 있다 – 그리고 에이전트가 행동에 나서지 말아야 할 콘텐츠를 제외하도록 가드레일을 설정할 수 있는 제어권도 확보하고 있다.”
## Should developers trust this technology?
AWS Context는 Amazon Quick와 동일한 지식 그래프 기술을 활용한다. 이는 조직 내 AI 업무 보조기관으로, 슬랙, 마이크로소프트 팀스 및 아웃룩, CRM, 데이터베이스, 문서 등 분산된 작업과 자원을 연결한다.
그렇다면 소프트웨어 개발자는 이 기술을 신뢰해도 될까?毕竟即使 포착되고 연결된 뒤에도 모든 비즈니스 맥락이 유용한 것은 아니다. 어떤 컨텍스트화는 손상되거나 약하고 파편적이며 비즈니스에 생산적으로 도움이 되지 않을 수도 있다. AWS는 데이터가 비즈니스 유용성 측면에서 어떻게 정량화되는지를 고려하지 않고 맥락을 포괄할 위험이 있는가?
AWS는 이 요소를 고려해 왔다.
AWS Context는 Amazon Quick를 구동하는 동일한 지식 그래프 기술을 사용하므로 사용 패턴을 학습해 모든 상호작용을 더 스마트하게 만든다. 회사는 이를 개인화된 지식 그래프에서 조직 차원의 것으로 확장한다고 밝혔으며, i.e., 조직 내 에이전트와 애플리케이션이 사용할 수 있는 공유되고 거버넌스된 맥락 계층이다.
“개발자는 AI 에이전트가 올바른 결정을 내릴 수 있도록 동적이며 지능적인 맥락 계층을 관리하고 형성할 수 있다 – AI 에이전트는 모델이 개선될 뿐 아니라, 거대하고 정제된 맥락을 손끝에 갖게 되어 더 스마트해진다.” – Tomsen Bukovec.
Tomsen Bukovec는 이렇게 설명한다. “AWS Context는 그래프 및 개방형 데이터 포맷의 컨텍스트가 포함된 데이터 호수를 제공한다.” “이 means AI 개발자는 데이터 레이어에서 기능을 활용해 동적이며 지능적인 맥락 계층을 관리하고 형성할 수 있다. 이 변화로 인해 AI 에이전트는 모델이 개선될 뿐 아니라, 거대하고 정제된 맥락을 갖게 되어 더 스마트해진다.”
## Curated knowledge beyond a user’s personal graph
기존 Amazon Quick 사용자는 AWS Context가 활성화될 때 Quick 에이전트가 더 넓은 기업 지식 그래프에 접근할 수 있게 되며, 이는 시스템 간 관계, 비즈니스 규칙 및 개인 사용자의 자체 그래프를 초과하는 큐레이티드 맥락을 포함한다.
Tomsen Bukovec는 AWS Context가 에이전트가 더 많이 사용될수록 더 똑똑해진다고 말했다. 에이전트가 그래프를 쿼리하면, 정확한 결과를 제공하는 소스, 에이전트가 의존하는 연결 경로, 적용되는 큐레이티드 규칙 등을 관찰한다. 실제 사용량을 기준으로 소스를 순위화하고 조직 전체에 학습 내용을 공유한다. 따라서 한 에이전트가 올바른 연결 경로를 발견하거나 스키마 모호성을 해결하면 다른 에이전트도 인간 개입 없이 이를 활용하게 된다.
생산 환경에 배치된 에이전트는 다음과 같은 거버넌스 문제를 제기한다: 어떤 데이터를 접근할 수 있으며, 정확히 무엇을 접근했는지, 누구의 권한 하에 있었는지를 보여줄 수 있는가? 조직은 AWS Context가 이 두 가지를 모두 식별 기반으로 답변한다고 설명했다.
각 호출은 호출 사용자의 IAM(신원 액세스 관리) 및 Lake Formation 권한을 상속하도록 설계되어 있다. 따라서 에이전트는 자신이 허가받은 관계만 볼 수 있고 traversal할 수 있다. 접근이 신분을 통해 이루어지므로 모든 상호작용은 감사 가능하다.
보안 및 컴플라이언스 팀은 동일한 제어 기능을 활용해 에이전트가 어떤 데이터를 접근했는지, 어떤 권한 하에 있었는지를 검증할 수 있다.
## AWS Glue Data Catalog
AWS Context가 오늘 공개되면서, 회사는 비즈니스 컨텍스트 및 의미 검색 기능을 미리 발표하였다.