왜 자동 이미지 정리가 해상도를 깨뜨리는가 (그리고 'Clean & Clarify' 워크플로우)

Source: Dev.to

위에 제공된 텍스트가 없습니다. 번역을 원하는 본문을 알려주시면 한국어로 번역해 드리겠습니다.

Source: …

Production 파이프라인에서 발생하는 “Smudge” 문제

이미지 처리 파이프라인은 스테이징 환경에서는 완벽하게 동작합니다. 몇 장의 테스트 사진을 업로드하고 마스크를 정의하면 원하지 않는 객체가 사라지고 배경이 매끄럽게 채워집니다. 그런데 프로덕션에 배포해 하루에 5,000개의 사용자 업로드 자산을 처리하기 시작하면 품질 지표가 급락합니다.

API 오류도, 타임아웃도 아닙니다. 엔지니어들이 사용자가 불만을 제기할 때까지 놓치기 쉬운, 시각적 완성도가 미묘하게 저하되는 현상입니다. 객체는 사라졌지만, 그 자리가 남은 고해상도 이미지와 비교했을 때 저해상도 스머지처럼 보입니다.

이것이 “Inpainting Resolution Gap” 입니다. 대부분의 생성형 채우기 모델은 고주파 텍스처(입자/노이즈)보다 의미적 구조(형태)를 우선시하기 때문에 발생합니다. 대규모로 Remove Objects From Photo 데이터를 처리하면 일관성 없는 노이즈 패턴이 생겨 머신러닝 학습 데이터와 전자상거래 시각 자료 모두를 망치게 됩니다.

이 글에서는 고해상도 워크플로우에서 단일 단계 제거가 왜 실패하는지 분석하고, “Clean & Clarify” 아키텍처— 의미적 삭제와 생성형 업스케일링을 결합한 2단계 로직—를 소개합니다.

실패 아키텍처: “그냥 지우기”만으로는 부족한 이유

저는 부동산 매물 플랫폼을 위한 전처리 파이프라인을 구축하면서 이 문제를 직접 겪었습니다. 이미지에서 차를 차도에서 제거하고, 집 번호를 흐리게 하며, “For Sale” 표지판을 없애야 했습니다. 그래서 표준 GAN 기반 제거 도구를 배포했죠.

실패 모드:
차는 사라졌지만, 차가 있던 차도는 매끄럽고 흐릿한 패치가 되었습니다. 아스팔트 텍스처가 사라진 겁니다. 4K 모니터에서 보면 마치 렌즈에 바셀린을 문 듯한 느낌이었습니다. 모델은 도로를 환상했지만, 도로의 텍스처는 환상하지 못했습니다.

문제를 일으킨 논리 흐름은 다음과 같습니다:

# The Naive Approach (Failed)
def process_listing(image_input, mask):
    # Step 1: Inpaint the masked area
    # Result: Semantic correctness but texture loss
    clean_image = model.inpaint(image_input, mask)
    
    return clean_image

문제는 Inpaint AI 모델이 손실을 계산하는 방식에 있습니다. 모델은 생성된 패치와 주변 영역 사이의 차이를 최소화하도록 최적화됩니다. 수학적으로 “흐릿한” 평균값이 잘못된 날카로운 추측보다 안전한 선택이 되기 때문에, 이 안전 메커니즘이 이미지 품질을 크게 저하시킵니다.

Phase 1: 정밀 제거와 “Ghosting” 위험

이를 해결하려면 먼저 고체 객체(예: 차) 제거와 고대비 오버레이(예: 텍스트) 제거 사이의 차이를 이해해야 합니다. 두 경우는 서로 다른 어텐션 메커니즘을 요구합니다.

AI Text Removal 작업을 수행할 때는 “ghosting”과 싸우는 셈입니다. 텍스트는 보통 날카롭고 고대비 가장자리를 가지고 있습니다. 제거 모델이 엣지 감지에 민감하지 않으면, 글자 윤곽이 희미하게 남아 글자 유령이 됩니다.

우리의 개선된 아키텍처에서는 텍스트 제거를 별도의 문제 클래스로 다루었습니다. 일반 객체 제거 모델은 워터마크와 같은 미세한 선을 처리하는 데 어려움을 겪었습니다. 따라서 Remove Text from Image 데이터에 특화된 모델을 사용해, 넓은 텍스처 합성보다 엣지 복원을 우선시하도록 조정했습니다.

트레이드‑오프: 지연 시간 vs. 품질

특화된 텍스트 제거 단계를 추가하면서 이미지당 처리 시간이 약 400 ms 증가했습니다. 실시간 애플리케이션에서는 비용이 크게 늘지만, 상업용 매물에서 “ghosted” 이미지가 클릭‑through 비율을 눈에 띄게 떨어뜨리는 것이 더 큰 손실이었습니다. 따라서 우리는 지연 시간을 감수하고 워터마크가 단순히 흐려지는 것이 아니라 완전히 사라지도록 했습니다.

Phase 2: “Clean & Clarify” 워크플로우

객체나 텍스트를 제거한 뒤에는 앞서 언급한 “smudge” 문제가 남습니다. 인페인팅된 영역은 사진의 나머지 부분보다 해상도가 낮습니다. 여기서 Clarify 단계가 등장합니다.

주의: 아래 코드는 예시이며 실제 구현에 따라 달라질 수 있습니다.

def clean_and_clarify(image, mask):
    # 1️⃣ 기본 인페인팅 (semantic fill)
    semantically_filled = model.inpaint(image, mask)

    # 2️⃣ 고해상도 업스케일링 (texture restoration)
    high_res = upscale_model.enhance(semantically_filled, mask)

    return high_res

1️⃣ Semantic Fill 단계에서는 의미적 일관성을 확보합니다.
2️⃣ Texture Restoration 단계에서는 전용 업스케일링/디노이징 모델을 사용해, 마스크 영역을 원본 이미지와 동일한 픽셀 수준으로 복원합니다.

이 두 단계를 결합하면, 원본 고해상도와 일치하는 디테일을 유지하면서도 객체가 깔끔히 사라진 결과물을 얻을 수 있습니다.

---

요약

• Inpainting Resolution Gap 은 텍스처 손실 때문에 발생합니다.
• 단순 “erase‑only” 접근법은 고해상도 파이프라인에서 충분하지 않으며, ghosting 과 smudge 를 초래합니다.
• Clean & Clarify 아키텍처는 semantic removal + generative upscaling 으로 문제를 해결합니다.
• 품질을 확보하려면 약간의 지연 시간 증가를 감수해야 할 수도 있습니다.

이러한 접근법을 적용하면, 대규모 프로덕션 환경에서도 이미지 품질 저하 없이 객체와 텍스트를 안전하게 제거할 수 있습니다.

Source: …

y sharpen the image; sharpening filters only enhance existing pixels. Since the in‑painting process didn’t generate high‑frequency texture details, there is nothing to sharpen.

The solution is to chain the output of the removal tool directly into a generative upscaler. A Photo Quality Enhancer doesn’t just make images bigger; it hallucinates missing details based on the surrounding context. By running the edited image through an enhancer, the AI “re‑grains” the smoothed‑out areas, matching the texture of the edited patch to the original photograph.

The Corrected Pipeline Logic

We refactored the pipeline to include this restoration step. The results showed a 98 % reduction in “smudge” detection artifacts.

# The "Clean & Clarify" Approach (Success)
def process_listing_v2(image_input, mask, type="object"):
    # Step 1: Context‑aware Removal
    if type == "text":
        # Specialized text model prevents ghosting
        clean_stage = text_removal_model.execute(image_input, mask)
    else:
        # General object model for structural inpainting
        clean_stage = inpaint_model.execute(image_input, mask)
    
    # Step 2: Texture Restoration (The Critical Fix)
    # Upscaling restores the grain lost during inpainting
    final_image = upscaler_model.enhance(clean_stage, scale=1.0, restore_face=False)
    
    return final_image

Evaluation: Texture Matching vs. Structure Reconstruction

When implementing this workflow, you need to monitor two specific metrics. It’s not enough to just look at the image; you need to profile the output.

1. Structure Reconstruction
2. Texture Matching

(Additional metrics can be added as needed.)

Checklist for Object Removal

1. Line Continuity: Does the line of the building continue behind the removed car? If the window frame bends or breaks, your Inpaint AI is failing at geometry.
2. Texture Matching: Does the noise profile of the filled area match the ISO noise of the original camera shot? This is where the Enhancer step is non‑negotiable.

Pro Tip: Never upscale before removing objects. Upscaling noise makes it harder for the removal AI to distinguish between the object and the background. Always Remove first, then Enhance.

Closing Thoughts: The Inevitability of Multi‑Model Workflows

The era of the “single‑click magic fix” is largely a UI illusion. Under the hood, effective production pipelines are rarely single models. They are chains of specialized tools—a detector to find the mask, an inpainter to erase it, and an enhancer to fix the damage caused by the erasure.

If your application relies on user‑generated content, you cannot trust a single pass to handle the variance in lighting and resolution. By adopting the “Clean & Clarify” workflow, you move from “removing pixels” to “reconstructing reality.” The difference isn’t just in the code; it’s in whether your users notice the edit at all.