3가지 질문: AI를 활용해 올림픽 스케이터가 퀸트를 성공하도록 돕기

Source: MIT News - AI

올림픽 피겨 스케이팅은 마치 힘들이지 않는 듯 보입니다. 선수들은 얼음 위를 미끄러지듯 달린 뒤, 공중으로 솟아올라 팽이처럼 회전하고, 폭이 겨우 4‑5 mm에 불과한 한 개의 블레이드에 착지합니다.

피겨 스케이터들이 사중 엑셀, 살초, 루츠를 착지하고, 심지어 찾기 힘든 퀸터플까지도 전혀 스트레스를 받지 않게 돕기 위해, Jerry Lu MFin ’24는 인공지능을 활용해 피겨 스케이터 점프 영상을 분석하고 개선 방안을 제시하는 ***OOFSkate***라는 광학 추적 시스템을 개발했습니다.

MIT Sports Lab(MIT Sports Lab)의 전 연구원인 Lu는 Team USA의 엘리트 스케이터들의 기술적 퍼포먼스를 지원해 왔으며, 2026년 동계 올림픽 기간 동안 NBC Sports와 협력해 해설자와 TV 시청자들이 피겨 스케이팅, 스노보드, 스키의 복잡한 채점 시스템을 더 잘 이해하도록 도울 예정입니다. 그는 AI 기술을 활용해 미묘한 심판 판정을 설명하고, 이 스포츠들이 얼마나 기술적으로 도전적인지 보여줄 것입니다.

한편, MIT Sports Lab의 공동 설립자이자 교직원 디렉터인 Professor Anette “Peko” Hosoi는 피겨 스케이팅에서 미적 퍼포먼스를 AI 시스템이 어떻게 평가하는지 이해하기 위한 새로운 연구를 시작하고 있습니다. Hosoi와 Lu는 최근 MIT News와 AI를 스포츠에 적용하는 방안, AI 시스템이 올림픽 피겨 스케이팅을 심판할 수 있는지, 그리고 언제 스케이터가 퀸터플을 성공시킬 수 있을지에 대해 이야기를 나눴습니다.

왜 피겨 스케이팅에 AI를 적용할까?

Lu:
스케이터는 언제나 더 높게, 더 빠르게, 더 강하게 도전할 수 있습니다. OOFSkate는 스케이터가 점프에서 회전 속도를 조금 더 빠르게 하거나 점프 높이를 조금 더 높이는 방법을 찾도록 돕는 데 초점을 맞추고 있습니다. 이 시스템은 눈으로만 확인하기 어려운 요소들을 포착해 고부가가치 기회를 목표로 삼을 수 있게 해줍니다. 스케이팅의 예술적 측면은 주관적이기 때문에 기술 요소를 평가하는 것보다 훨씬 어렵습니다.

모바일 트레이닝 앱을 사용하려면 선수의 점프 영상을 촬영하기만 하면, 회전 수를 결정짓는 물리적 지표들을 자동으로 출력해 줍니다. 이 지표들을 추적하고 현재 활동 중인 엘리트와 전 엘리트 선수들의 데이터를 결합합니다. 자신의 데이터를 확인하고 “이게 올림픽 챔피언이 이 요소를 수행한 방식이다. 나도 이렇게 해봐야겠다”는 식으로 비교할 수 있습니다. 또한 자동 분류기를 통해 “이 트릭을 세계선수권대회에서 국제 심사위원단이 평가했다면, 대략 어느 정도의 실행 점수(grade‑of‑execution)를 받을지”를 보여줍니다.

Hosoi:
특히 비디오에서 골격 구성을 추정할 수 있는 포즈 추정기와 같은 AI 도구가 많이 등장하고 있습니다. 이러한 포즈 추정기의 문제점은 카메라 각도가 하나뿐일 경우 카메라 평면에서는 잘 작동하지만 깊이(depth) 측면에서는 성능이 떨어진다는 것입니다. 예를 들어 펜싱에서 상대가 카메라 쪽으로 이동하면서 자세를 비판하려 하면 데이터가 매우 부정확해집니다.

하지만 피겨 스케이팅에서는 제리가 깊이 문제의 영향을 거의 받지 않는 몇 안 되는 영역 중 하나를 발견했습니다. 다음을 이해하면 됩니다:

1. 이 사람이 얼마나 높이 뛰었는가?
2. 몇 바퀴를 돌았는가?
3. 착지는 얼마나 잘했는가?

이 세 가지는 모두 깊이에 의존하지 않습니다. 그는 포즈 추정기가 매우 잘 수행하는 영역을 찾아냈고, 그들이 잘 못하는 부분에 대해서는 벌점을 주지 않는 애플리케이션을 개발했습니다.

인공지능이 피겨 스케이팅의 예술적 측면을 평가하는 세상을 상상할 수 있을까요?

Hosoi:
AI와 미학적 평가에 관해서는 MIT Human Insight Collaborative (MITHIC) 보조금 덕분에 새로운 연구가 진행 중입니다. 이 연구는 Arthur Bahr 교수와 IDSS 대학원생 Eric Liu와의 협업으로 진행되고 있습니다.

“이 그림에 대해 어떻게 생각하나요?”와 같은 미학적 평가를 AI 플랫폼에 물으면, 사람처럼 들리는 답변을 얻을 수 있습니다. 우리가 알고 싶은 것은 AI가 인간이 “이 그림이 마음에 들어” 혹은 “이 그림이 마음에 들지 않는다”는 결론에 도달할 때 사용하는 동일한 추론 경로나 직관적 개념을 따르는지 여부입니다. AI가 단순히 사람의 말을 흉내 내는 앵무새에 불과한지, 아니면 미적 매력에 대한 개념 지도를 가지고 있는지 궁금합니다.

피겨 스케이팅은 이 지도를 찾기에 완벽한 대상입니다. 왜냐하면 스케이팅은 미학적으로 평가될 뿐만 아니라 점수가 매겨지기 때문입니다. “이 그림은 35점이다”와 같은 점수를 박물관에서 찾을 수는 없지만, 스케이팅에서는 데이터가 존재합니다.

이와 관련해 또 다른 흥미로운 질문이 떠오릅니다: 초보자와 전문가의 차이점입니다. 전문가와 초보자는 동일한 자극에 대해 다르게 반응한다는 것이 알려져 있습니다. 전문 심판은 일반 대중과는 다른 의견을 가질 수 있습니다. 우리는 전문가, 초보자, 그리고 AI의 반응 차이를 이해하려고 합니다. 이 반응들이 공통된 기반을 공유하는지, 아니면 AI가 전문가와 초보자와는 전혀 다른 관점에서 오는지 탐구하고 있습니다.

Lu:
피겨 스케이팅은 흥미로운 연구 대상입니다. AI 분야의 모든 사람들은 AGI(인공지능 일반화)와 인간을 복제하는 매우 견고한 AI를 만들고자 노력하고 있습니다. 피겨 스케이팅과 같은 스포츠에 AI를 적용해 보는 것은 인간이 어떻게 생각하고 판단하는지를 이해하는 데 도움이 됩니다. 이는 AI 연구와 AI 모델을 개발하는 기업에 하위 효과를 미칩니다. 현재 최첨단 AI 모델이 이러한 스포츠와 어떻게 작동하는지, 그리고 특정 분야에 맞게 어떻게 훈련하고 미세 조정해야 하는지를 깊이 이해함으로써, AI 자체가 어떻게 발전해야 하는지를 배울 수 있습니다.

밀라노‑코르티나 올림픽 피겨스케이팅 경기에서 무엇을 주목할 것인가?

Lu:
겨울 경기 기간 동안 저는 NBC와 함께 피겨스케이팅, 스키, 스노보드 경기들을 담당하며 미국 시청자들에게 데이터 기반 스토리를 전달하고 있습니다. 목표는 이 스포츠들을 보다 친숙하게 만드는 것입니다. 텔레비전에서는 스케이팅이 느려 보이지만 실제로는 그렇지 않습니다. 모든 동작은 자연스럽게 보여야 하며, 힘들어 보이면 아마도 페널티를 받을 것입니다. 스케이터들은 매우 빠르게 회전하고, 높이 점프하며, 공중에 떠 있다가 한 발로 아름답게 착지하는 법을 배워야 합니다. 우리가 수집하는 데이터는 겉보기와 달리 스케이팅이 얼마나 어려운지 보여주는 데 도움이 됩니다.

올림픽 스포츠 분야에서 일하게 되어 기쁩니다. 전 세계가 4년마다 한 번씩 시청하고, 전통적으로 코칭이 집중되고 재능 중심인 스포츠이기 때문입니다. 야구와 달리 고급 광학 트래킹 시스템이 없으면 현재 가지고 있는 가치를 최대화할 수 없습니다. 이런 올림픽 스포츠와 선수들과 함께 일하며 영향을 미칠 수 있게 된 것이 정말 기쁩니다.

Hosoi:
어릴 때부터 텔레비전을 켤 수 있을 때마다 올림픽 피겨스케이팅 경기를 보았습니다. 언제나 놀라웠죠. 제가 연습하려는 것 중 하나는 점프를 식별하는 것으로, 아마추어 “심판”에게는 매우 어려운 일입니다.

또한 간단히 계산해 보면서 퀸트(다섯 바퀴 회전)가 가능한지 검토했습니다. 이제는 완전히 가능하다고 확신합니다. 우리 생애 안에, 아니면 비교적 곧이라도 한 번 볼 수 있을 겁니다. 이번 올림픽에서는 아니겠지만 곧 말이죠. 퀸트에 그렇게 가까워졌을 때, 여섯 바퀴는 어떨까 생각했습니다. 여섯 바퀴는 아마 불가능할 겁니다. 인간 신체 능력의 한계에 부딪히게 되니까요. 하지만 다섯 바퀴는 손에 닿을 수 있는 목표라고 생각합니다.

누군가 퀸트를 착지시킬 수 있을까?

Lu:
겨울 경기에서는 NBC와 협력하여 피겨 스케이팅, 스키, 스노보드 경기의 데이터를 활용한 스토리를 미국 시청자들에게 전달하고 있습니다. 목표는 이 스포츠들을 더 친근하게 만드는 것입니다. 텔레비전에서는 스케이팅이 느리게 보이지만 실제로는 그렇지 않습니다. 모든 동작은 자연스럽게 보여야 하며, 힘들어 보이면 아마도 감점을 받을 것입니다. 스케이터들은 매우 빠르게 회전하고, 엄청나게 높이 점프하며, 공중에 떠 있다가 한 발로 아름답게 착지하는 법을 배워야 합니다. 우리가 수집하는 데이터는 스케이팅이 실제로 얼마나 어려운지, 겉보기에 쉬워 보여야 하는 이유를 보여줄 수 있습니다.

올림픽 스포츠 분야에서 일하게 되어 기쁩니다. 전 세계가 4년마다 한 번씩 시청하고, 전통적으로 코칭과 재능에 크게 의존하는 스포츠이기 때문입니다. 야구처럼 정밀한 광학 트래킹 시스템이 없으면 현재 가지고 있는 가치를 최대화하지 못하는 스포츠와는 다릅니다. 이런 올림픽 스포츠와 선수들과 함께 일하며 영향을 미칠 수 있게 된 것이 정말 좋습니다.

Hosoi:
어릴 때부터 텔레비전을 켤 수 있을 때마다 올림픽 피겨 스케이팅 경기를 보았습니다. 언제나 놀라웠죠. 제가 연습하려는 것 중 하나는 점프를 식별하는 것으로, 아마추어 “심판”이라면 매우 어려운 일입니다.

또한 퀸트가 가능한지 간단히 계산해 보았습니다. 이제 완전히 가능하다고 확신합니다. 우리 생애 동안, 아니면 비교적 곧이라도 한 번 볼 수 있을 겁니다. 이번 올림픽에서는 아니겠지만, 곧 있을 것입니다. 퀸트가 이렇게 가까워진 것을 보니, 여섯 회전은 어떨까 생각했습니다. 여섯 회전은 아마 불가능할 겁니다. 인간 신체 능력의 한계에 부딪히게 되니까요. 하지만 다섯 회전은 충분히 도달 가능한 목표라고 생각합니다.