백엔드, AI 개발로 전환

Source: Dev.to

핵심 과제: 결정론(Determinism) 버리기

LLM을 다루면서, 백엔드 엔지니어에게 가장 어려운 전환은 수학이 아니라 결정론을 버리는 것이라는 생각이 들었습니다.

전통적인 분산 시스템에서의 결정론

• 전통적인 분산 시스템에서는 입력 A가 항상 출력 B를 만든다.
• 만약 그렇지 않다면, 그것은 버그로 간주됩니다.

생성 AI(GenAI)와 현실

• GenAI에서는 입력 A가 오늘은 출력 B를, 내일은 완전히 다른 구조를 만들 수 있다.
• 이는 대규모 안정성에 대한 우리의 모든 기존 개념을 깨뜨립니다.

실질적인 영향

• “분위기 체크(vibe check)”와 같은 테스트를 위한 표준 단위 테스트를 작성할 수 없습니다.
• 엄격한 프롬프트를 사용하더라도 모델이 100 % 정확하게 유효한 JSON을 출력한다는 보장을 할 수 없습니다.
• 추론 제공자가 과부하될 때 지연 시간을 예측할 수 없습니다.

방어적 아키텍처 접근법

해결책은 더 나은 프롬프트 엔지니어링이 아니라 방어적 아키텍처입니다. 우리는 **“모델을 완벽하게 만들기”**에서 벗어나 회복력 있는 래퍼를 구축하는 쪽으로 초점을 전환해야 합니다:

• 스키마 검증기 – 출력이 기대하는 구조에 맞는지 확인합니다.
• 서킷 브레이커 – 지연 시간 급증이나 장애로부터 다운스트림 서비스를 보호합니다.
• 자동화된 평가 파이프라인 – 사용자가 문제를 발견하기 전에 회귀를 잡아냅니다.

LLM을 신뢰할 수 없고 고지연 API로 다루기

LLM을 마법 상자가 아니라 신뢰할 수 없고 고지연인 제3자 API로 취급하십시오.