AI 콘텐츠 제작자를 구별하기가 점점 어려워지고 있다.

출처: The Verge

이것은 The Stepback, 기술 세계의 핵심 이야기를 매주 한 편씩 풀어내는 뉴스레터입니다. AI 혼란에 대해 더 알고 싶다면 Robert Hart를 팔로우하세요. The Stepback은 구독자들의 이메일함에 동부시간 기준 오전 8시에 도착합니다. The Stepback 구독은 여기에서 신청할 수 있습니다.

시작은

처음엔 AI 인플루언서를 식별하기도, 무시하기도 비교적 쉬웠습니다. 가끔씩 떠오르는 과대광고를 제외하고는, 소셜 미디어의 작동 방식에 큰 변화를 주지는 않았죠. 가장 초기의 가상 인플루언서—똑똑한 앞머리와 주근깨가 특징인 Lil Miquela, 풍선껌 색 머리카락을 한 Imma, 완벽한 피부톤을 가진 Shudu Gram—은 명백히 디지털 제작물でした. 협업은 대대적으로 발표되었고, 화려한 홍보와 함께 진행되었습니다. 이러한 포스트를 만들려면 스튜디오, 자금, 조정, 그리고 많은 다듬기가 필요했습니다.

시간이 지나면서 내 타임라인에 보이는 가짜 사람들은 점점 우리 모두와 닮아가고 있다는 것을 느꼈습니다. Emily Pellegrini와 Aitana Lopez 같은 캐릭터는 현실감이 조금 더 높아졌는데, 적어도 대학 시절에 연락이 끊긴, 여행을 많이 다니고 부유한 친구가 멋진 레스토랑이나 아름다운 풍경, 혹은 Coachella와 Wimbledon 같은 곳에서 계속 사진을 올리는 모습과 비슷합니다. 완전히 공감하기는 어렵지만, 실제 전문 인플루언서들도 마찬가지입니다.

그럼에도 불구하고, 이 계정들은 결코 일반적인 형태가 아닙니다. Lopez는 스페인 크리에이티브 에이전시 The Clueless가 만든 인물로, 이 에이전시는 여러 AI 인플루언서를 관리합니다. Pellegrini의 제작자는 Professor EP라는 필명으로, 과거에 OnlyFans 크리에이터들을 관리했다고 합니다. 현재는 사람들에게 자신만의 AI 인플루언서를 만드는 방법을 가르치는 강좌를 판매하고 있습니다.

바로 이것이 사람들이 이제 막 시작하고 있는 일입니다. 많은 사람들이 말이죠.

진행 상황

새로움이라는 매력은 사라졌습니다. 초기 AI 인플루언서는 그 수가 적었기 때문에 눈에 띄었지만, 이제는 소셜 미디어를 뒤덮는 방대한 AI 생성 콘텐츠의 일부에 불과합니다. 저품질의 잡담, 챗봇을 얕게 베낀 텍스트, 형편없는 이미지와 영상, 그리고 한 달 동안 내 TikTok을 점령한 ‘반지의 제왕’ 디스코곡까지 말이죠.

가짜 사람들은 이제 어디에나 있습니다. 그들은 드롭‑쉬핑 잡동사니를 판매하고, 가짜 사진으로 남성을 사기하며, 허위 정보와 인종차별적 논조를 퍼뜨리고, 점점 더 기이하고 종종 성적인 니치를 겨냥합니다. 물론 ‘thirst trap’ 같은 콘텐츠도 많고, 아바타가 단순히 인간 크리에이터가 인기 있는 것을 베껴서 가짜 얼굴만 얹는 평범한 포스트도 넘쳐납니다.

이 때문에 AI 콘텐츠 크리에이터의 영향력을 정확히 측정하기가 어렵습니다. 플랫폼은 가짜 사용자가 얼마나 되는지에 대한 데이터를 공개하지 않으며, 대부분의 AI 아바타는 초기 물결이 받았던 언론의 관심을 받을 정도로 유명하거나 영향력 있는 수준에 도달하지 못합니다. Virtual Humans 같은 데이터베이스는 수백 개의 인기 아바타를 추적하지만, 이는 눈에 띄는, 이상하거나 규모가 큰 계정에 불과합니다. 그 아래에는 레이더에 잡히지 않은 수많은 계정이 존재합니다.

이러한 계정이 탐지를 피할 수 있는 이유 중 하나는 제작 기술이 크게 향상됐기 때문입니다. 이제 가짜 사람의 정지 이미지만으로도 한눈에 진짜와 구분하기 어려울 정도로 충분히 설득력 있게 만들 수 있습니다. 특히 실제 인플루언서들이 무대 설치, 필터, 편집 효과 등을 적극 활용하는 피드에서는 더욱 그렇죠. 영상과 음성도 빠르게 따라잡아, 가상 인물에게 실제와 구분하기 힘든 목소리와 움직임을 부여하고 있습니다. 도구 자체도 더 이상 틈새 시장 전용이거나 비싸지 않습니다. 구글·오픈AI 같은 대기업의 메인스트림 제품부터 Higgsfield, HeyGen, ElevenLabs 같은 전문 서비스까지 다양하게 존재합니다. 약간의 노력만으로도 스튜디오, 특수 장비, 큰 자본 없이도 거의 누구나 AI 인플루언서—또는 그 무리를—만들 수 있게 되었습니다.

이 모든 상황은 소셜 미디어 플랫폼에게 해결하고 싶지 않은 문제를 안겨줍니다. 몇 년간 AI 생성 이미지·영상·음성에 씨름해 온 뒤, 대부분의 주요 플랫폼은 이제 합성 미디어에 대한 일종의 정책을 갖추고 있습니다. 하지만 AI 생성 콘텐츠에 라벨을 붙이는 정도에 그치는 경우가 많으며, 실제로는 사기, 스팸, 사칭, 폭력·음란물 등 기존 카테고리에 끼워 넣는 식에 불과합니다. 실제 사람처럼 행동하도록 설계된 AI 인물은 이러한 범주에 깔끔히 들어맞지 않죠. 사기를 치거나, 폭력적인 내용을 올리거나, 누군가를 사칭하는 것이 아니라면—사칭한다면 누구를 사칭할까요? 그리고 AI 생성임을 고지한다 해도 어떤 규정을 위반하는지 명확하지 않습니다.

현 시점에서 플랫폼들은 모호함 속에 머무르고 있습니다. AI 크리에이터를 완전히 환영하거나 완전히 배제하지는 않으며, 모순된 입장을 유지하고 있습니다. AI를 창작 도구로 홍보하면서 동시에 저품질 콘텐츠의 홍수를 막으려 애쓰는