Kafka Streams란 무엇이며, 왜 신경 써야 할까요?

Source: Dev.to

스트림 처리란 무엇인가?

“스트림 처리는 데이터를 먼저 저장하고 배치로 처리하는 것이 아니라, 데이터가 생성되는 즉시 지속적으로 처리하는 컴퓨팅 패러다임이다. 이를 통해 시스템은 거의 실시간에 가깝게 이벤트에 반응할 수 있어 저지연 분석, 모니터링, 의사결정을 가능하게 한다. 스트림 처리 시스템은 데이터 스트림을 수집하고, 변환이나 계산을 적용한 뒤, 입력이 아직 생성되는 동안 결과를 내보낸다.” – Martin Kleppmann

데이터를 저장하고 새벽 2시 에 대규모 배치 작업을 실행하는 대신, 데이터가 도착하는 순간 바로 처리합니다.

Kafka Streams

“Kafka Streams는 Apache Kafka 토픽을 읽고 쓰는 실시간, 확장 가능한 스트림 처리 애플리케이션을 구축하기 위한 경량 Java 기반 라이브러리다. 필터링, 매핑, 그룹화, 윈도윙, 집계와 같은 연속 처리에 대한 고수준 추상화를 제공하며, 장애 복구와 상태 관리를 내부적으로 처리한다.”

Kafka Streams를 사용하면 스트림 처리 패러다임에 자연스럽게 맞는 도구를 얻게 됩니다.

Note: 이것은 스트림 처리와 Kafka Streams의 역할을 설명하기 위한 단순화된 사고 모델이며, YouTube 내부 아키텍처를 정확히 나타낸 것은 아니다. YouTube와 같은 거대 기업은 여러 스트림 프로세서, 배치 + 스트리밍 파이프라인, 머신러닝 모델, 피처 스토어 등을 활용해 원활한 사용자 경험을 제공한다.

스트림 파이프라인 설계

Kafka Streams에서 로직은 토폴로지—데이터 스트림에 적용되는 변환 단계를 나타내는 방향성 비순환 그래프(DAG) 형태의 처리 노드—로 표현됩니다.

우리는 시청 기록과 사용자 활동을 진실의 원천(카프카 토픽을 읽는 Source Processor)으로 시작합니다.

1. 데이터 마스킹 및 정제

• 원시 사용자 상호작용 이벤트를 소비
• 불필요하거나 민감한 필드를 제거하거나 마스킹
• 이벤트 구조를 표준화

이 단계는 하위 프로세서가 관련 있고 안전한 데이터만을 다루게 하여 결합도를 낮추고 유지 보수성을 높인다.

2. 유사 콘텐츠 추천

• 입력: 사용자 ID, 채널명, 장르(예: WWE 영상을 시청 → 장르 프로페셔널 레슬링)
• 목표: AEW나 TNA와 같은 관련 프로모션을 즉시 제안

원시 KStream을 매핑하거나 변환해 관련 메타데이터를 추출한 뒤, 새로운 카프카 토픽 similar-content 로 Sink Processor를 통해 내보낸다.

3. 선호 영상 길이

(사용자가 선호하는 영상 길이를 분석하고 이벤트에 태그를 다는 로직.)

4. 제품 발견

(시청 행동을 기반으로 관련 제품 추천을 노출하는 로직.)

데이터가 잘 정의된 이벤트로 내보내지면, 하위 애플리케이션은 이를 독립적으로 분석하고 사용자에게 훨씬 효과적으로 서비스를 제공할 수 있다—그리고 여러분은 고액 연봉 직장을 유지하게 된다. 모두 스트림 처리와 Kafka Streams 덕분이다. 😉

Kafka Streams는 변환기이며, 두뇌는 아니다

Kafka Streams는 이벤트‑드리븐 아키텍처 내에서 고성능 Transformer와 Supplier 역할을 한다. 데이터를 정제·구조화·라우팅하여 하위 마이크로서비스가 이를 활용하도록 만든다. 이것이 잘 설계된 이벤트‑드리븐 시스템의 특징이다.

여러분은 실시간 데이터 오케스트레이션의 표면만 살짝 긁어본 셈이다.

전통적인 데이터베이스만으로는 왜 안 될까?

“무거운 쓰기”가 많은 상황 외에도 데이터베이스는 다음과 같은 구조적 단점을 가진다:

• 지연 시간
• 지속적인 인제스트에 대한 제한된 확장성
• 순서가 뒤섞인 이벤트 처리의 어려움

스트림 처리는 이러한 문제들을 정면으로 해결한다.

파트 2를 기대해 주세요.