LLM을 활용해 수작업으로 몇 시간 걸리던 작업 자동화

Source: Dev.to

저는 워크플로우에서 수작업으로 진행하던 구체적인 예시를 공유하고 싶습니다. 챗봇 같은 이야기가 아니라, 실제로 사람이 두 개의 오디오 트랙을 앞에 두고 몇 시간씩 작업해야 했던 파이프라인 단계입니다.

저는 실시간 음성‑음성 번역 시스템을 만들고 있습니다. 지연 시간을 측정하려면 원본 오디오의 어느 구절이 번역된 오디오의 어느 구절에 대응하는지 알아야 하므로, 두 구절 사이의 시간 차이를 계산할 수 있습니다. 이 정렬 작업은 예전에는 사람이 직접 해야 했습니다. 한 사람이 두 트랙을 듣고 구절을 맞춰가며 타임스탬프를 기록했죠. 6분짜리 세션이라면 쉽게 오후 내내 작업해야 하는 양이었습니다.

어려운 부분은 수학이 아니라 정렬입니다. 언어마다 어순이 다르기 때문이죠. 독일어는 동사를 문장 끝에 두고, 아랍어는 문장을 재구성합니다. 스페인어의 3번째 구절이 영어의 7번째 구절에 대응할 수도 있습니다.

바로 이런 종류의 작업이 LLM이 강점인 분야입니다. LLM은 언어 간 의미적 동등성을 이해하고 어순 변화를 자연스럽게 처리합니다. 그래서 저는 수작업 단계를 LLM 호출로 대체했습니다:

• 두 오디오 트랙을 강제 정렬하여 단어별 타임스탬프를 얻는다(자동화, LLM 필요 없음)
• 두 전사본의 모든 단어에 번호를 매겨 LLM에 보낸다
• LLM이 단어 인덱스를 기준으로 매칭된 구절 쌍을 반환한다
• 1단계에서 얻은 타임스탬프를 사용해 각 쌍의 시간 차이를 계산한다

예전에는 몇 시간이 걸리던 작업이 이제는 몇 분이면 끝납니다. 인간이 개입할 필요가 없습니다.

제가 이 사례를 공유하는 이유는 이 패턴이 일반화될 수 있기 때문입니다. 워크플로우 중에 사람이 두 가지를 읽고 어떻게 대응되는지 판단해야 하는 단계가 있다면, LLM이 이를 수행할 가능성이 높습니다. 핵심은 제가 LLM에게 판단이나 창의적 출력을 요구하는 것이 아니라, 구조화된 정렬이라는 잘 제한된 작업을 시키는 것입니다.

LLM은 실제로 언어 이해가 필요한 그 한 단계만 담당합니다. 나머지 작업(강제 정렬, 타임스탬프 추출, 집계)은 모두 일반 코드로 처리됩니다.

전체 방법론: 자동화된 ear‑voice span
코드: VoiceFrom/live-s2st-eval