ORCHESTRATE v3.1 UAT — AI 에이전트가 자체 마케팅 플랫폼을 테스트한 방법
Source: Dev.to
ORCHESTRATE란?
ORCHESTRATE는 LinkedIn 페이지, Reddit 게시물, Dev.to 블로그, YouTube 업로드, 그리고 Printify 머천다이즈를 단일 MCP (Model Context Protocol) 서버에서 관리하는 다채널 콘텐츠 퍼블리싱 플랫폼입니다. 10개의 역량 영역에 걸쳐 100개 이상의 도구를 운영하며, AI 에이전트가 엄격한 애자일 방법론에 따라 오케스트레이션합니다.
UAT 프로세스
Sprint 13에서는 플랫폼을 다음과 같이 테스트했습니다:
- 블로그 퍼블리싱 – MCP 도구를 사용해 Dev.to에 기사 작성 및 게시.
- 트렌딩 토픽 탐색 – Reddit에서 AI/자동화 관련 트렌딩 주제를 스캔.
- 제품 홍보 – Printify 스토어의 실제 제품 목업을 가져와 타깃 LinkedIn 게시물 생성.
- 비디오 제작 – AI만으로 내레이션이 포함된 YouTube 비디오 전 과정 생성: 스크립트 작성, Piper TTS 내레이션, ffmpeg 비디오 조합, YouTube 업로드.
- 크로스‑플랫폼 배포 – 동일한 콘텐츠를 LinkedIn, Reddit, Dev.to, YouTube에 동시에 게시.
기술 스택
- 백엔드: Node.js REST API (포트 3847) + MCP HTTP 서버 (포트 3848)
- 프론트엔드: React + Vite + Tailwind
- AI 오케스트레이션: 100개 이상의 등록 도구를 가진 MCP (Model Context Protocol)
- 오디오: 내레이션용 Piper TTS 사이드카 (포트 8500)
- 비디오: Docker 내 ffmpeg를 이용한 비디오 조합
- 머천다이즈: 제품 관리를 위한 Printify API 연동
- 인프라: Docker Compose, 단일 컨테이너 배포
UAT 영상 보기
전체 UAT 과정을 내레이션이 포함된 YouTube 영상으로 녹화했습니다. 이 영상은 스크립트 생성부터 TTS 내레이션, 비디오 조합, YouTube 업로드까지 전부 AI 에이전트가 제작했습니다.
배운 점
AI 에이전트와 함께 UAT를 진행하면서 흥미로운 점을 발견했습니다: 에이전트는 체계적인 테스트에서는 인간보다 뛰어나지만, 즉흥적인 탐색에서는 한계가 있습니다. 에이전트는 수용 기준을 정확히 따르고 모든 엔드포인트를 점검하며 모든 내용을 문서화합니다. 하지만 인간 테스터가 발견할 수 있는 엣지 케이스를 스스로 찾아내지는 못합니다.
해결책: AI 기반 체계적인 UAT와 인간의 탐색적 테스트를 결합합니다. 에이전트는 회귀 테스트 스위트를 담당하고, 인간은 예상치 못한 상황에 집중하도록 합니다.
직접 해보기
ORCHESTRATE 플랫폼은 오픈 프로토콜(MCP)과 표준 도구를 기반으로 구축되었습니다. AI 기반 콘텐츠 파이프라인을 구축한다면, AI 도구를 CI/CD 파이프라인의 일등 시민으로 다루고, 즉흥적인 도우미가 아니라 체계적인 구성 요소로 활용하세요.
- 머천다이즈 구매: iamhitl.com
- 여정 팔로우: I Am HITL on Dev.to