생성형 AI 기술로 고전 드라마 화질을 4K급으로 개선

발행: 3일 전 (2026년 2월 12일 오전 09:04 GMT+9)

12 분 소요

Source: Samsung Tech Blog

위의 출처에 이어서 번역하고 싶은 본문을 제공해 주시면, 해당 내용을 한국어로 번역해 드리겠습니다.

들어가며

VD 사업부 화질 Solution Lab의 이현승입니다. 본 포스트에서는 오래 전 제작된 고전 드라마를 AI 기술을 통해 4K 수준의 화질로 자동 리마스터링하는 기술을 소개하고자 합니다. 이러한 기술의 배경과 발전 흐름, 서비스 적용 시 겪은 문제점과 실험 결과를 설명해드리겠습니다.

화질 리마스터링 개요

![그림 1. 대부 영상 리마스터링 전/후]
그림 1. 대부 영상 리마스터링 전/후

리마스터링은 원작의 매력을 살리면서 화질을 향상시키고 현대적인 감각에 맞게 보정하여 시청자에게 새로운 경험을 제공하는 데 목적이 있습니다.

과거 필름을 디지털 방식으로 스캔한 뒤 훼손된 영상을 복원하고 컬러를 보정합니다.
방송국 콘텐츠와 같이 아날로그 비디오 표준(NTSC)으로 저화질 보관된 자료를 복원하기도 합니다.

이러한 작업은 영상 복원 전문가와 컬러 전문가가 수작업으로 진행하므로 시간·비용이 많이 듭니다. 그림 1은 최근 리마스터링 버전으로 출시된 영화 대부의 전·후 비교 영상이며, 리마스터링 후 선명도가 향상되고 잡음이 감소했으며 컬러 톤이 현대식으로 개선되었습니다.

신호처리 기반 초해상도 영상 복원

화질 개선은 영상 취득·저장 과정에서 발생한 열화를 디지털 신호 처리 기법으로 복원하는 작업입니다. 열화는 주로 잡음, 해상력 부족, 흔들림, 컬러 손실 등으로 나타납니다.

전통적으로는 신호 처리 이론에 기반한 방법이 주류였으나, 최근 딥러닝 기술 발전으로 학습 기반 방법이 대세가 되었습니다. 여기서는 초해상도(Super‑Resolution) 방법을 중심으로 설명합니다.

보간 필터

![그림 2. 보간 필터]
그림 2. 보간 필터

저해상도 영상을 고해상도로 변환할 때 가장 많이 쓰이는 방법은 보간(Interpolation) 입니다. 주변 픽셀을 직선·곡선 등으로 연결해 새로운 픽셀 값을 계산합니다. 보간은 연산량이 적어 실시간 처리에 적합하지만, 정보량이 늘어나지 않아 확대된 영상이 흐릿하게 보이는 한계가 있습니다.

열화 모델 기반 해상도 복원

![그림 3. 열화 모델 기반 해상도 복원]
그림 3. 열화 모델 기반 해상도 복원

열화 모델을 수식으로 정의하고, 역과정을 최적화해 고해상도를 추정합니다. 모델이 정확할수록 보간보다 더 많은 정보를 복원할 수 있지만, 실제 세계에서는 정확한 열화 모델을 추정하기 어려워 성능이 제한됩니다.

기존 AI 기반 초해상도 영상 복원 기법

![그림 4. AI 기반 해상도 복원]
그림 4. AI 기반 해상도 복원

AI 기반 방법은 저·고해상도 영상 사이의 변환 관계를 학습하고, 추론 시 이를 활용합니다.

RAISR (2016) – 여러 필터를 학습해 입력 패치의 방향성·일관성에 따라 가장 적합한 필터를 선택합니다.
VDSR – 딥러닝 네트워크와 Skip Connection을 이용해 깊은 구조에서도 효과적인 초해상도 학습을 수행합니다.

학습 데이터, 열화 모델, 목적 함수 설계에 따라 다양한 복원 성능을 얻을 수 있습니다.

생성형 AI 모델 소개

![그림 5. 생성형 AI 모델]
그림 5. 생성형 AI 모델

생성형 모델은 데이터의 확률 분포를 학습해 근사화합니다. 주요 종류는 VAE, GAN, Diffusion, LLM 등입니다. 여기서는 Denoising Diffusion Model을 간단히 소개합니다.

구조상 여러 VAE가 연결된 형태로, 잡음 신호를 점진적으로 제거해 영상을 생성합니다.
Latent Diffusion Model은 Diffusion 과정을 잠재 공간(Latent Space)에서 수행해 샘플링 복잡도를 크게 낮춥니다.

컨트롤 넷

![그림 6. 생성형 AI 모델의 제어]
그림 6. 생성형 AI 모델의 제어

컨트롤 넷은 기존 생성 모델을 재학습하지 않고, 추가 모듈을 애드온 형태로 결합해 사용자가 원하는 방향으로 결과를 조절합니다. 영상의 윤곽선, 포즈, 깊이 정보 등을 조건으로 제공해 Denoising 과정을 안내합니다.

생성형 AI 기반 초해상도 영상 복원 기술 및 적용 사례

![그림 7. 생성형 이미지 모델 기반 해상도 향상]
그림 7. 생성형 이미지 모델 기반 해상도 향상

2024년 발표된 Stable SR 논문이 최초로 생성형 모델을 활용한 초해상도 방법을 제시했습니다.

저해상도 영상을 Denoising의 제어 조건으로 입력하고, 모델이 구조적 정보를 참고해 고해상도 영상을 생성합니다.
화질 열화가 심한 영상에서도 기존 방법보다 뛰어난 디테일 복원을 보여줍니다.

한계와 문제점

![그림 8. 생성형 AI 모델 기반 이미지 화질 개선 알고리즘의 한계]
그림 8. 생성형 AI 모델 기반 이미지 화질 개선 알고리즘의 한계

프레임 간 일관성 부족 – 연속 영상에서 각 프레임이 서로 다른 결과를 생성해 떨림 현상이 발생합니다.
아날로그 잡음 대응 한계 – 기존 논문에서 정의한 동영상 열화 모델과 고전 비디오의 잡음 특성이 달라 성능이 저하됩니다.

이를 해결하기 위해 아날로그 잡음 제거에 특화된 네트워크 아키텍처를 설계했습니다.

시공간 일관성을 유지한 동영상 초해상도 모델

![그림 9. 시공간 일관성 유지 동영상 해상도 복원 모델]
그림 9. 시공간 일관성 유지 동영상 해상도 복원 모델

포항공대와 공동 개발한 Video Diffusion Model 기반 알고리즘은 프레임 군집 내에서 생성 일관성을 보장합니다.

제한 – GPU 메모리 한계로 16초 미만의 저해상도 영상만 처리 가능.
해결 – 시공간적 Tiling 기법을 적용하고, Tile 간 일관성을 유지하기 위해 K, V Attention을 전파했습니다.

왼쪽은 Global Key‑Value를 패치에 전달해 공간적 일치성을 확보하는 과정, 오른쪽은 인접 프레임 간 Attention 정보를 공유하는 방식을 보여줍니다.

성능 비교

![그림 10. 프레임별 생성형 모델의 일관성 유지 성능 비교]
그림 10. 프레임별 생성형 모델의 일관성 유지 성능 비교

제안 방법은 복원 능력과 시간적 일관성 면에서 기존 방법보다 우수함을 확인했습니다.

병렬 처리 파이프라인

![그림 11. 병렬 처리 비디오 파이프라인]
그림 11. 병렬 처리 비디오 파이프라인

고화질 4K 리마스터링을 위해서는 알고리즘 경량화와 샘플링 횟수 최적화가 필수입니다.

GPU 서버를 Scene 단위로 구성해 병렬 처리를 수행하면 수시간 분량의 영상을 연속성 있게 복원할 수 있습니다.

리마스터링 전·후 결과

![그림 12. 리마스터링 전/후 결과]
그림 12. 리마스터링 전/후 결과

생성형 AI 기반 화질 개선으로 소실된 디테일과 컬러까지 복원되었습니다. 특히 얼굴의 눈·코·입 등 미세 요소가 재현되었습니다.

적용 현황

본 기술은 현재 삼성 TV Plus 리마스터드 채널에 적용되어, 20여 년 전 명작들을 4K 급으로 스트리밍하고 있습니다.

감사합니다.

출처

Restoring The Godfather Trilogy in 4K Clip (EXCLUSIVE) (※ 이미지·도표는 본문에 포함된 예시이며 실제 파일 경로는 별도 제공되지 않았습니다.)

[2] S. C. Park *et al.*, “Super‑Resolution Image Reconstruction,” *Signal Processing Magazine*, May 2003.  

[3] Y. Romano *et al.*, “RAISR: Rapid and Accurate Image Super‑Resolution,” *IEEE Transactions on Computational Imaging*, 2016.  

[4] J. Kim *et al.*, “Accurate Image Super‑Resolution Using Very Deep Convolutional Networks,” *CVPR*, 2016.  

[5] Vahdat *et al.*, “Score‑based Generative Modeling in Latent Space,” *NeurIPS*, 2021.  

[6] R. Rombach *et al.*, “High‑Resolution Image Synthesis with Latent Diffusion Models,” *CVPR*, 2022.  

[7] L. Zhang *et al.*, “Adding Conditional Control to Text‑to‑Image Diffusion Models,” *ICCV*, 2023.  

[8] J. Wang *et al.*, “Exploiting Diffusion Prior for Real‑World Image Super‑Resolution,” *IJCV*, 2024.  

[9] Han *et al.*, “DC‑VSR: Spatially and Temporally Consistent Video Super‑Resolution,” *SIGGRAPH*, 2025.