AI에게 가르치는 법을 가르치기: AI 리터러시 에이전트 구축 5일 여정

Source: Dev.to

소개

“사람들은 AI에 무엇을 물어야 할지 모른다”는 이야기부터 다중‑에이전트 학습 시스템까지—구글 AI 에이전트 인텐시브를 통해 겪은 나의 여정. 이 회고는 구글 AI 에이전트 라이터 챌린지: 학습 회고에 제출한 내용이다.

개발자이자 연구자이며 AI 리터러시 교육자인 나는 종종 같은 패턴을 본다: 사용자는 강력한 모델(ChatGPT, Claude, Gemini 등)에 접근할 수 있지만 어떤 질문을 해야 할지 몰라 고생한다. 모호한 프롬프트는 일반적인 답변을 낳고, 이는 “AI가 별로 쓸모없다”는 결론으로 이어진다. 사용자는 프라이버시 위험을 이해하지 못한 채 민감한 데이터를 공유하고, AI 출력물을 비판 없이 받아들여 기본 수준을 넘어가지 못한다.

구글과 카글이 5일짜리 AI 에이전트 인텐시브를 발표했을 때, 나는 다른 챗봇을 만드는 것이 아니라 학습 스캐폴드를 구축할 기회라고 생각했다: AI 리터러시 가디언이라는 다중‑에이전트 시스템으로, 사람들이 AI와 비판적으로 사고하도록 가르치는 것이 목표였다.

1일차 – 사고 모델의 전환

코스는 다중‑에이전트 시스템을 소개했고, 그 개념이 바로 와 닿았다. AI 리터러시 교육은 단일 문제에 단일 해결책을 적용하는 것이 아니라 여러 특화된 기능들의 오케스트레이션이라는 것을 깨달았다:

• 개념을 명확히 설명
• 위험을 사전에 식별
• 연습 문제 생성
• 학습 진행 상황 추적

하나의 LLM이 이 모든 역할을 동시에 잘 수행할 수는 없지만, 특화된 에이전트라면 가능하다. 이 통찰이 캡스톤 프로젝트의 방향을 잡아주었다.

2일차 – 도구 통합

에이전트는 단순히 멋진 프롬프트를 가진 LLM이 아니라, 특화된 도구를 장착했을 때 능동적인 시스템이 된다. 나는 다음을 구축했다:

• RiskScanner – 모든 상호작용에 대해 체계적인 안전 평가를 수행.
• PromptGenerator – 구조화된 교육용 예시를 생성.
• LearningSummarizer – 세션 전반에 걸친 대화 패턴을 종합.

이 도구들은 에이전트를 “똑똑한 응답자”에서 신뢰할 수 있는, 반복 가능한 구성 요소로 변모시켰다.

3일차 – 매니저 에이전트

처음엔 오케스트레이션을 단순히 적절한 에이전트에 질의를 라우팅하는 것으로만 생각했다. 실습을 통해 매니저 에이전트는 또한 다음을 수행해야 함을 알게 되었다:

• 상태와 대화 기록(최근 10턴) 유지
• 사용자 프로필을 추적하고 이전 상호작용을 기반으로 적응

이 기능들을 구현하면서 시스템은 무상태 Q&A 봇에서 학습 동반자로 변모했다. 매니저 에이전트는 다중‑에이전트 아키텍처의 신경계 역할을 한다.

4일차 – 평가의 핵심화

“LLM‑as‑a‑Judge” 개념과 Johns Hopkins University의 Applied Generative AI 강좌에서 영감을 받아, 나는 자동 품질 평가기를 추가했다. 이 평가기는 각 응답을 다음 항목으로 점수화한다:

1. 명확성
2. 유용성
3. 안전성
4. 정확성
5. 참여도

체계적인 측정은 지속적인 개선을 가능하게 한다.

5일차 – 윤리 내재화

책임 있는 AI 개발은 반복되는 주제였다. 나는 EthicsGuardianAgent를 사후 보완이 아닌 핵심 구성원으로 만들었다. 이 에이전트는 모든 질의를 사전에 스캔해 프라이버시, 윤리, 보안 위험을 탐지한다. 예를 들어 사용자가 “학생 에세이를 ChatGPT에 업로드해도 될까?”라고 물으면, 에이전트는 즉시 HIGH RISK를 표시하고 FERPA 위반을 설명하며 더 안전한 로컬 대안을 제시한다.

시스템 아키텍처

• Manager Agent (AILiteracyGuardian) – 네 개의 전문 에이전트를 오케스트레이션.
• ExplainerAgent – 적응형 비유를 활용해 개념을 가르침.
• EthicsGuardianAgent – 위험을 사전에 식별.
• ExampleBuilderAgent – 좋은/나쁜 프롬프트 시연을 나란히 생성.
• SkillTrackerAgent – 세션 간 진행 상황을 추적.

에이전트를 강화하는 네 개의 맞춤형 도구:

1. ConceptStructurer – 교육 콘텐츠를 체계화.
2. PromptGenerator – 구조화된 예시를 생산.
3. RiskScanner – 안전 검사를 수행.
4. LearningSummarizer – 학습 패턴을 종합.

차별점

이 시스템은 능동적인 가이드를 제공한다. 단순히 질문에 답하는 것이 아니라, 어떤 질문이 중요한지 가르치고, 실수가 발생하기 전에 위험을 식별하며, 구조화된 연습을 통해 스킬을 구축한다.

비전 및 가치

나는 AI 리터러시 패스포트 프로토타입을 만들었으며, 이는 점진적인 미션(예: “진실 테스트”, “약한 프롬프트 챌린지”), 배지 보상, 레벨 상승, 역량 게이트 등으로 구성된 커리큘럼으로 발전할 수 있다. 목표는 “AI에 대해 배우는” 단계에서 “AI를 능숙하게 활용하는” 단계로 리터러시를 전환하는 것이다.

로드맵

• 즉시 – 인터랙티브 미션과 역량 검증이 포함된 완전한 AI 리터러시 패스포트.
• 조만간 – 다국어 지원(스페인어, 프랑스어, 중국어, 힌디어) 및 문화에 맞춘 예시 제공.
• 장기 – 도메인별 버전(헬스케어: HIPAA, 교육: FERPA/COPPA, 법률: 전문 윤리) 및 교사 대시보드.

배운 교훈

1. 문제부터 시작하라, 기술이 아니라 – 특화된 기능들의 오케스트레이션이 필요할 때만 에이전트를 구축한다.
2. 실습을 포용하라 – 손에 잡히는 연습은 추상 개념을 구체적으로 이해하게 해준다; 라우팅 로직 디버깅은 어떤 문서보다 큰 학습을 제공한다.
3. “과정 통과”를 넘어 생각하라 – 명확한 비전(AI 리터러시 패스포트)이 늦은 밤 디버깅과 영상 제작 도전을 견디게 해준다.

인텐시브 전후 비교

이 코스는 단순히 에이전트를 만드는 방법을 가르친 것이 아니라, AI 시스템 설계에 대한 나의 사고 방식을 근본적으로 바꾸어 놓았다.