스마트폰에 드디어 엔비디아 DLSS식 기술이 도입돼 ‘가짜 프레임’이 기대된다
Edgar Cervantes / Android Authority
요즘은 AI 기술을 피할 수 없으며, 컴퓨터 거인 NVIDIA가 이 막대한 수익성을 기대하는 미래를 게임 유산과 결합하려 할 때마다 논란이 뒤따릅니다. 최신 DLSS 5 기술이 바로 그 좋은 예인데, AI가 결합된 프레임 생성 및 업스케일링 기술에 기반할 뿐 아니라 원본 텍스처와 조명을 대체할 “포토리얼” 픽셀을 자체적으로 생성합니다.
PC와 콘솔 산업이 앞서가면 스마트폰도 곧 따라옵니다. 프레임 생성과 업스케일링 같은 AI 보조 기능을 활용해 성능과 화질을 개선하는 스마트폰 게임이 늘어날 날도 멀지 않았습니다. 저는 회의적이지만 흥미롭습니다.
Arm이 차세대 GPU를 위한 새로운 AI 그래픽 기능을 예고하고 있습니다.
그와 관련해, Arm이 방금 새로운 Neural Dawn 기술 시연을 공개했습니다. Arm과 Sumo Digital이 공동 개발한 Neural Dawn은 Arm Neural Technology를 활용해 Unreal Engine의 MegaLights를 최초로 모바일 게임에 구현합니다. MegaLights는 실시간 동적 조명과 레이 트레이싱 그림자를 결합해 콘솔 수준의 퀄리티를 제공합니다. 시연 영상의 조명은 부인할 수 없을 정도로 인상적입니다.
Arm Neural Technology 레이어를 좀 더 들여다보면, 모바일용으로 축소된 DLSS와 유사한 아이디어를 발견합니다. Arm의 Neural Super Sampling(NSS)은 프레임당 4 ms만에 540p를 1080p로 업스케일링할 수 있어 GPU 자원을 조명 및 기타 효과에 할당할 여지를 남깁니다. Neural Super Sampling and Denoising(NSSD)은 레이 트레이싱으로 발생한 노이즈를 제거하고, Neural Frame Rate Upscaling(NFRU)은 중간 프레임을 생성해 30 fps 기본 속도를 60 fps에 가깝게 보이게 합니다.
Arm
Neural Dawn의 스크린샷, Arm 및 Sumo Digital 제공
단 한 가지 주의점은 Arm이 이번 시연이 연말에 출시될 차세대 Mali GPU를 위한 쇼케이스라고 밝힌 점입니다. 즉, 이 혜택을 누리려면 새로운 플래그십 폰으로 업그레이드해야 할 가능성이 높습니다.
하지만 Arm만 AI‑강화 성능 기능을 내놓는 유일한 모바일 GPU 업체는 아닙니다. Qualcomm의 차세대 AI Frame Fusion(AIFF)—Snapdragon Game Super Resolution의 개선판—은 프레임 생성과 해상도 업스케일링을 모두 지원합니다. Qualcomm이 흥미로운 점은 이 기능을 GPU든 NPU든(가능한 경우) 실행할 수 있어 성능 면에서 유리할 수 있다는 점입니다.
Apple의 MetalFX Upscaling은 가벼운 신경망 기반 공간 업스케일러와 AI가 아닌 시간 옵션을 제공해 iPhone과 iPad에서 Resident Evil, No Man’s Sky 같은 게임을 구동합니다. 마찬가지로 MediaTek의 HyperEngine은 AI 기반 가변 레이트 쉐이딩과 레이 트레이싱을 제공합니다. 심지어 인기 PC 에뮬레이터인 GameNative가 손실 없는 스케일링 프레임 생성(LSFG)을 최신 빌드에 통합했는데, 이는 전통적인 GPU 레이어 위에서 Vulkan을 사용해 “신경망”이나 AI 기능을 요구하지 않습니다.
스마트폰 개발 단계가 아직 초기 단계이긴 하지만, 이 기술은 모바일 게임 산업의 주류가 될 조짐을 보이고 있습니다.
AI 프레임 생성 및 업스케일링이 모바일 게임에 좋을까 나쁠까?
3표
AI가 모바일 게임과 콘솔 격차를 줄이는 데 도움이 될까?
그럼 모바일에 어떤 이점이 있을까요? 생각보다 많습니다. 낮은 네이티브 해상도는 GPU 작업량 감소, 발열 감소, 스로틀링 감소를 의미합니다. 이는 엄청난 차이이며, 지속적인 성능이 모바일 게임의 가장 큰 문제라고 할 수 있습니다. 게다가 프레임 생성은 부드러운 120 fps를 제공해 고주사율 디스플레이를 열량이나 발열을 늘리지 않고 활용할 수 있게 합니다. 어떤 면에서는 모바일 게임이 PC보다 이 기술에서 더 큰 이득을 볼 수 있습니다.
하지만 기대만큼 쉽지는 않습니다. 모바일은 자체적인 기술적 난관이 많아 실행이 쉽지 않기 때문입니다.
우선 프레임 생성은 낮은 성능을 마법처럼 해결해 주지는 못합니다. PC에서 이 기술을 사용해 본 사람이라면 알겠지만, 프레임 생성은 이미 견고한 프레임 레이트를 부드럽게 만드는 데 가장 효과적이며, 기본 프레임 레이트가 낮을 때는 높은 지연과 끊김을 겪습니다.
높은 프레임 레이트가 멋지긴 하지만, 모바일에서 가장 큰 이점은 전력 소모와 발열 감소입니다.
예를 들어, 프레임 생성은 60 fps를 받아 디스플레이의 120 fps 리프레시 레이트에 맞게 보간하는 데 뛰어납니다. 이것이 이상적인 경우입니다. 30 fps를 60 fps로 끌어올리려 할 때는 위험이 따릅니다—추가된 지연으로 인해 결과가 둔하게 느껴질 수 있습니다. Arm과 Qualcomm 모두 30 fps를 기본 목표로 한다고 언급했는데, 이는 다소 우려스러운 부분입니다.
그럼에도 올바르게 구현된다면 프레임 생성은 PC보다 모바일에서 더 강력한 도구가 될 수 있습니다. 60 fps로 렌더링하면 GPU 작업량이 적고 배터리 소모와 발열도 낮아집니다. 이것이 많은 모바일 게임이 기본 설정으로 제한된 프레임 캡을 선호하는 이유입니다.
AI 업스케일링은 최적화 부족이나 그래픽 파워 부족을 완전히 해결해 주지는 못합니다.
마찬가지로 AI 기반 해상도 업스케일링은 흐릿한 이미지를 완벽하게 바꾸지는 못합니다. Arm과 Qualcomm이 540p 저해상도 이미지를 1080p 수준으로 바꾸는 사례를 보여주지만, 이를 AAA 수준 그래픽과 구분할 수 없다고 주장한다면 다소 과장된 표현일 수 있습니다.
그럼에도 스마트폰은 작은 화면 덕분에 고해상도가 꼭 필요하지 않으므로 이득을 볼 수 있습니다. 예를 들어 720p는 6인치 패널에서 움직일 때도 선명하게 보입니다. 720p를 1080p 혹은 모바일 패널에 흔히 쓰이는 1440p 네이티브 해상도로 업스케일하면 매우 인상적이며, 성능에 거의 영향을 주지 않고 큰 화면에서도 활용할 수 있습니다.
이것이 단순한 기술 시연을 넘어설 수 있을까?
Shimul Sood / Android Authority
모바일에서 가장 큰 장애물은 기술 자체가 아니라—Arm과 Qualcomm의 시연을 보면 알 수 있듯이—이 기술을 실제로 손에 넣고 우리가 가장 좋아하는 게임에 적용하도록 만드는 과정입니다.
문제는 두 가지 측면에서 나타납니다. 첫 번째는 새로운 AI 기능을 지원하는 하드웨어가 아직 출시 예정 GPU에만 한정돼 있거나 시장 최상위에만 존재한다는 점입니다. 즉, 초기 채택 시장이 매우 제한적이어서 대중적인 타이틀에서 수익을 얻는 게임사들이 투자하기 어려운 상황입니다. 따라서 이러한 기능이 메인스트림에 보급되기까지는 시간이 걸릴 것입니다.
두 번째는 Arm과 Qualcomm의 도구가 Unreal Engine에 깊게 통합돼 있다는 점입니다. Unreal