우리는 프로덕션용 13개의 LLM 게이트웨이를 평가했습니다. 그 결과는 다음과 같습니다.

Source: Dev.to

왜 이것이 필요했는가

우리 팀은 Maxim에서 AI 평가 및 가시성 도구를 구축합니다.
우리는 프로덕션 AI 시스템을 운영하는 기업들과 협업하고 있으며, 같은 질문이 계속해서 나오고 있었습니다:

“어떤 LLM 게이트웨이를 사용해야 할까?”

그래서 우리는 실제로 테스트하기로 했습니다— 문서를 읽거나 GitHub 스타 수만 확인하는 것이 아니라.
13개의 서로 다른 LLM 게이트웨이에 실제 프로덕션 워크로드를 돌려보고 실제로 어떤 일이 일어나는지 측정했습니다.

우리가 테스트한 항목

우리는 다섯 가지 카테고리에 걸쳐 게이트웨이를 평가했습니다:

• 성능 – 지연 시간, 처리량, 메모리 사용량
• 기능 – 라우팅, 캐싱, 가시성, 장애 조치
• 통합 – 기존 코드에 얼마나 쉽게 삽입할 수 있는가
• 비용 – 가격 모델 및 숨겨진 비용
• 프로덕션 준비도 – 안정성, 모니터링, 엔터프라이즈 기능

테스트 워크로드

• 지속적인 500 RPS 트래픽
• GPT‑4와 Claude 요청 혼합
• 실제 고객 지원 문의

결과 (솔직한 평가)

Tier 1: 대규모 프로덕션에 적합

1. Bifrost (우리 자체 개발 – 하지만 들어보세요)

우리는 Bifrost를 만들었습니다. 다른 어떤 솔루션도 우리의 규모 요구를 충족시키지 못했기 때문입니다.

장점

• 테스트에서 가장 빠름 (~5K RPS에서 ~11 µs 오버헤드)
• 메모리 사용량이 견고함 (로드 시 ~1.4 GB 안정)
• 의미 기반 캐싱이 실제로 작동
• 적응형 로드 밸런싱이 자동으로 성능 저하된 키의 가중치를 낮춤
• 오픈 소스 (MIT)

단점

• LiteLLM보다 커뮤니티가 작음
• Go 기반 (성능은 좋지만 Python 전용 팀에게는 진입 장벽)
• 기존 도구보다 제공자 통합이 적음

추천 대상: 고처리량 프로덕션 (500+ RPS)에 적합하며, 성능과 비용 효율성을 최우선으로 하는 팀

2. Portkey

견고한 엔터프라이즈 기능을 갖춘 강력한 상용 솔루션.

장점

• 뛰어난 가시성 UI
• 다중 제공자 지원이 우수
• 신뢰성 기능 (폴백, 재시도)
• 엔터프라이즈 지원

단점

• 사용량이 늘어날수록 가격이 급격히 상승
• 플랫폼 종속성
• 오픈소스 도구에 비해 약간의 지연 오버헤드

추천 대상: 완전 관리형 솔루션을 원하는 기업

3. Kong

LLM 플러그인을 제공하는 API‑게이트웨이 거인.

장점

• 검증된 인프라스트럭처
• 방대한 플러그인 생태계
• 엔터프라이즈 기능 (인증, 속도 제한)
• 멀티 클라우드 지원

단점

• LLM 전용 워크플로우 설정이 복잡
• 단순히 LLM 라우팅만 필요하면 과도한 솔루션
• 학습 곡선이 가파름

추천 대상: 이미 Kong을 사용 중이며 LLM 지원을 추가하고 싶은 팀

Tier 2: 대부분의 사용 사례에 적합

4. LiteLLM

가장 인기 있는 오픈소스 옵션. Bifrost 이전에 사용했습니다.

장점

• 방대한 커뮤니티
• 거의 모든 제공자를 지원
• Python 친화적
• 시작이 쉬움

단점

• 300 RPS 이상에서 성능 문제 발생 (우리는 이 지점을 경험)
• 시간이 지날수록 메모리 사용량 증가
• 부하가 걸리면 P99 지연이 급증

추천 대상: 프로토타이핑 및 저트래픽 애플리케이션 (P50)

평가 기준

• 총 비용 (목록 가격이 아님) – 인프라 + LLM 사용량 + 엔지니어링 시간 + 종속성
• 가시성 – 장애, 지연, 비용을 디버깅할 수 있는가?
• 신뢰성 – 장애 조치, 속도 제한, 자동 복구
• 마이그레이션 경로 – 나중에 탈출할 수 있는가? 자체 호스팅이 가능한가?

우리의 권장 사항

• 시작하는 대부분의 팀: LiteLLM → 나중에 마이그레이션
• 고성장 스타트업: 처음부터 Bifrost 또는 Portkey
• 엔터프라이즈: Portkey 또는 Kong
• 비용에 민감한 팀: Bifrost (오픈소스) 또는 Helicone (가시성 중심 설정)