AI 드로잉 게임을 위한 스트로크 캡처 시스템을 어떻게 만들었는가

Source: Dev.to

왜 스트로크를 캡처할까?

대부분의 드로잉 앱은 최종 이미지만 저장하지만, Paint Your Partner에서는 각 브러시 스트로크—위치, 타이밍, 압력, 색상, 순서—를 모두 기록해야 했어요. 그림을 실시간으로 해설하는 AI는 그 과정을 실시간으로 보면서 눈이 나타나는 순간, 사용자가 머리카락에 머뭇거리는 순간, 혹은 코를 포기하고 추상적인 낙서를 시작하는 순간에 반응할 수 있어야 하거든요.

스트로크 데이터 구조

각 스트로크는 다음과 같은 속성을 가진 객체로 저장됩니다:

• 경로 데이터 – x/y 좌표 배열
• 색상
• 브러시 크기
• 타임스탬프 – 스트로크가 시작된 시점
• 지속 시간 – 스트로크가 걸린 시간
• 순서 – 스트로크의 순번

이 모든 정보를 캡처하면 그림을 비디오처럼 재생하거나, 속도를 빠르게 혹은 느리게 조절하거나, GIF 혹은 MP4로 내보낼 수 있습니다.

전체 스트로크 데이터 활용

• 공유 가능한 콘텐츠 – 누군가가 10초 안에 파트너를 그리는 모습을 감상할 수 있음.
• AI 학습 데이터 – 모델을 미세 조정하고 싶을 때 유용.
• 디버깅 – 사용자가 정확히 무엇을 언제 그렸는지 확인 가능.

실시간 AI 해설

AI는 그림이 끝날 때까지 기다리지 않고 스트로크가 도착하는 즉시 받아들입니다. 캔버스에 눈, 머리카락, 미소 같은 요소가 나타나면 짧고 익살스러운 코멘트를 내보내죠:

• “오, 그 눈이 정말 꿈꾸는 듯해!”
• “누군가가 그 미소를 정말 잘 잡아냈네!”

타이밍 정보는 머뭇거림, 자신감, 혹은 혼란을 드러내어 AI가 더 풍부한 맥락으로 발언할 수 있게 합니다.

엔진 재사용

Paint Your Partner는 Artbitrator(AI가 심사하는 멀티플레이어 드로잉 게임, Quick Draw와 유사)와 동일한 엔진 위에서 동작합니다. 두 게임 모두 스트로크 캡처 및 재생 시스템을 공유하지만, 서로 다른 게임 모드를 제공합니다. 핵심 엔진을 한 번 만들고 여러 제품에 레이어링한 것이 큰 이득이 되었습니다.

향후 계획

• 카메라 캡처 – 플레이어들의 웹캠 피드를 스트로크 재생과 동기화해 전체를 하나의 영상으로 내보내 TikTok에 바로 올릴 수 있게 함.
• 추가 게임 모드 – 스트로크 시스템 덕분에 새로운 경험을 만들 수 있지만, 아직은 구현되지 않음.

직접 사용해 보기

paintyourdate.io – 파트너를 그리면서 AI 해설을 듣고, 코에 대한 실력이 얼마나 형편없는지 확인해 보세요.