🛡️ Python으로 스마트 Excel 데이터 클리너 구축 (단계별)

I’m happy to translate the article for you, but I need the text you’d like translated. Could you please paste the article’s content (excluding the source line you already provided) here? Once I have the text, I’ll translate it into Korean while preserving the original formatting, markdown, and code blocks.

구축할 내용

• Excel 정리를 위한 데스크톱 GUI 앱
• 자동 결측값 처리
• 중복 탐지
• 휴리스틱 “데이터 건강” 점수 매기기
• 결과를 Excel, PDF, JSON, 및 TXT 형식으로 내보내기

GitHub 저장소 (전체 스크립트):
👉

🧰 전제 조건

• Python 3.9+
• 기본 Python 지식

필요한 패키지 설치

pip install pandas numpy openpyxl ttkbootstrap reportlab

📁 프로젝트 구조

SmartExcelGuardian/
│── main.py
│── logo.ico
│── excelguardian.log

1️⃣ Import Required Libraries

# Core
import os
import sys
import threading
import json
import tkinter as tk
from tkinter import filedialog

# UI
import ttkbootstrap as tb
from ttkbootstrap.constants import *

# Misc
from datetime import datetime

Why these modules?

# Data & Excel
import pandas as pd
import numpy as np
import re
from openpyxl import Workbook
from openpyxl.styles import PatternFill, Font
from openpyxl.utils.dataframe import dataframe_to_rows

# PDF Export
from reportlab.pdfgen import canvas
from reportlab.lib.pagesizes import A4
from reportlab.lib.units import mm
from reportlab.lib.colors import red, orange, green, black

2️⃣ 전역 상태 및 로깅

stop_event      = threading.Event()          # Allows canceling cleanup
cleanup_results = {}                         # Shared export data
log_file        = os.path.join(os.getcwd(), "excelguardian.log")

3️⃣ 유틸리티 헬퍼 함수

리소스 로더 (패키징된 앱용)

def resource_path(file_name):
    """Return absolute path for bundled resources (PyInstaller support)."""
    base_path = getattr(sys, "_MEIPASS", os.path.dirname(os.path.abspath(__file__)))
    return os.path.join(base_path, file_name)

컬럼‑이름 클리너

def clean_column_name(name):
    """Normalize column names: strip, lower‑case, remove punctuation, replace spaces with '_'."""
    name = name.strip().lower()
    name = re.sub(r"[^\w\s]", "", name)   # Remove non‑alphanumeric chars
    name = re.sub(r"\s+", "_", name)      # Replace spaces with underscores
    return name

예시

NumPy → JSON 변환기

def convert_numpy(obj):
    """Make NumPy types JSON‑serialisable."""
    if isinstance(obj, np.integer):
        return int(obj)
    if isinstance(obj, np.floating):
        return float(obj)
    if isinstance(obj, np.ndarray):
        return obj.tolist()
    raise TypeError(f"Object of type {type(obj)} is not JSON serialisable")

4️⃣ 메인 윈도우 만들기

app = tb.Window(themename="darkly")
app.title("SmartExcelGuardian v1.1.0")
app.geometry("1100x650")

왜 ttkbootstrap인가?

• 바로 사용할 수 있는 현대적인 스타일링
• 내장 다크 모드 지원
• 반응형 레이아웃 도우미

5️⃣ 제목 섹션

tb.Label(app,
         text="SmartExcelGuardian",
         font=("Segoe UI", 22, "bold")).pack(pady=(10, 2))

tb.Label(app,
         text="Professional Excel Data Guardian Tool",
         font=("Segoe UI", 10, "italic"),
         foreground="#9ca3af").pack(pady=(0, 8))

앱 헤더를 생성합니다.

6️⃣ Excel 파일 선택기

file_path = tk.StringVar()

# Row container (you’ll need to create `row1` as a Frame first)
tb.Entry(row1,
        textvariable=file_path,
        width=60).pack(side="left", padx=6)

tb.Button(row1,
          text="📄 Excel File",
          command=lambda: file_path.set(
              filedialog.askopenfilename(
                  filetypes=[("Excel Files", "*.xlsx *.xls")]
              )
          )).pack(side="left")

사용자가 Excel 워크북을 선택할 수 있도록 합니다.

7️⃣ 정리 제어 버튼

start_btn = tb.Button(row2,
                     text="🛡 CLEAN DATA",
                     bootstyle="success")

stop_btn = tb.Button(row2,
                    text="🛑 STOP",
                    bootstyle="danger-outline",
                    state="disabled")

• CLEAN DATA → 백그라운드 스레드를 시작하여 정리 엔진을 실행합니다.
• STOP → 처리를 안전하게 중단합니다.

8️⃣ Results Table (Treeview)

cols = (
    "column", "original_type", "suggested_type",
    "cleaned_type", "missing_values",
    "duplicates_detected", "heuristic_score",
    "rename_suggestion"
)

tree = tb.Treeview(row3, columns=cols, show="headings")

열별 건강 분석을 표시합니다.

9️⃣ 휴리스틱 점수 체계

def heuristic_score(missing, duplicates, type_issue):
    """Return a risk score from 0‑100."""
    score = 0
    score += min(30, missing * 2)          # Missing values (max 30)
    score += min(30, duplicates * 2)       # Duplicates (max 30)
    score += 40 if type_issue else 0       # Type‑mismatch (max 40)
    return min(score, 100)

🔟 데이터‑클리닝 엔진

def assess_and_clean(df):
    """Iterate over columns, assess health, and clean data in‑place."""
    for col in df.columns:
        series = df[col]

        # ---------- Numeric Columns ----------
        coerced = pd.to_numeric(series, errors="coerce")
        if coerced.notna().any():                     # At least one numeric value
            cleaned_series = coerced.fillna(coerced.mean())
            df[col] = cleaned_series
            continue

        # ---------- Text Columns ----------
        cleaned_series = series.astype("string").fillna(series.mode()[0])
        df[col] = cleaned_series

핵심 작업

• Numeric columns → 숫자로 강제 변환하고, 결측값을 해당 열의 평균으로 채웁니다.
• Text columns → 문자열 타입으로 변환하고, 결측값을 가장 빈번하게 나타나는 값(모드)으로 채웁니다.

다음 단계 (발췌본에 표시되지 않음)

• 휴리스틱 점수와 이름 변경 제안을 Treeview에 채워 넣기.
• CLEAN DATA 버튼을 배경 스레드에서 assess_and_clean을 실행하도록 연결하기.
• 위에서 정의한 헬퍼 유틸리티를 사용해 Excel, PDF, JSON, TXT 내보내기 기능 구현하기.
• excelguardian.log에 적절한 오류 처리와 로깅 추가하기.

행복한 클리닝! 🎉

1️⃣ 스레드 기반 정리 실행

threading.Thread(
    target=run_cleanup,
    daemon=True
).start()

왜 스레딩인가?

• UI가 반응성을 유지합니다
• 대용량 Excel 파일에서 멈춤을 방지합니다

2️⃣ 수식이 포함된 Excel 내보내기

sum_formula  = f"=SUM(A2:A{ws.max_row})"
mean_formula = f"=AVERAGE(A2:A{ws.max_row})"

자동으로 추가됩니다:

• SUM
• AVERAGE

3️⃣ 조건부 서식

fill = PatternFill(start_color="FF9999", fill_type="solid")
cell.font = Font(bold=True)

위험도가 높은 열은:

• 강조 표시 🔴
• 가독성을 위해 굵게 표시

4️⃣ PDF 보고서 내보내기

def score_color(score):
    if score >= 71:
        return red
    elif score >= 31:
        return orange
    else:
        return green

다중 페이지 PDF 감사 보고서를 다음과 같이 생성합니다:

• 색상으로 구분된 점수
• 열 요약
• 페이지 번호

5️⃣ 정보 및 도움말 창

tb.Label(frame, text="How to Use", font=("Segoe UI", 12, "bold"))

Provides:

• Feature overview
• Usage steps
• Developer info

🚀 최종 결과

이제 다음을 갖게 됩니다:

• 전문적인 Excel 클리너
• 데스크톱 GUI
• 휴리스틱 점수 시스템
• 다중 형식 내보내기

📌 다음 개선 사항

• 시트별 선택 추가
• 차트 추가 (데이터 건강 추세)
• 사용자 프리셋 저장
• .exe 파일로 패키징

🔗 Full Source Code

SmartExcelGuardian on GitHub