LLM Foundry: LLM을 실제로 유용하게 만드는 지루한 스택
Source: Dev.to
Introduction
대부분의 AI 프로젝트는 역방향으로 구축됩니다. 팀은 모델부터 시작하고 나중에야 메모리 시스템, 의미 검색, 도구 사용, 테스트, 그리고 공급자가 오프라인될 때 대비한 백업 계획이 필요하다는 것을 알게 됩니다.
What is LLM Foundry?
LLM Foundry는 LLM 주변의 워크숍이며, 모델 자체는 아닙니다. 이는 모델을 데모에서 똑똑해 보이는 수준을 넘어 실제 작업에 유용하게 만드는 레이어입니다.
Key Features
- Semantic retrieval: 임베딩을 기반으로 하여 메모리 검색이 단순 키워드 매칭이 아닙니다.
- Multi‑provider support: OpenAI 호환 엔드포인트, Anthropic, Hugging Face 및 장애 조치 번들을 지원합니다.
- Compression + memory: 긴 작업을 압축하여 컴팩트한 작업 컨텍스트로 만들 수 있습니다.
- Agent traces: 트레이스를 추출해 학습 데이터로 활용할 수 있습니다.
- Benchmark + harness runs: 시스템을 느낌에 의존하지 않고 테스트 가능하게 합니다.
Typical Workflow
유용한 모델 스택은 한 번의 프롬프트와 기도만으로는 충분하지 않습니다. 일반적으로 다음 단계들을 따릅니다:
- 작업을 읽는다.
- 관련 메모리를 복구한다.
- 잡동사니를 압축한다.
- 모델에 질문한다.
- 답변을 확인한다.
- 필요하면 도구를 사용한다.
- 트레이스를 저장한다.
- 결과를 벤치마크한다.
이것이 챗봇과 실제 업무에 신뢰할 수 있는 시스템의 차이점입니다.
Importance of Orchestration
기본 모델이 추론에 약하다면, 오케스트레이션만으로 최첨단 수준으로 만들 수는 없습니다. 행동, 신뢰성, 회상, 워크플로 품질을 개선할 수는 있지만, 없는 지능을 마법처럼 만들어낼 수는 없습니다.
오케스트레이션이 할 수 있는 일은 괜찮은 모델을 훨씬 더 유용하게 만드는 것입니다:
- 불필요한 텍스트를 덜 본다.
- 올바른 컨텍스트를 더 자주 검색한다.
- 추측 대신 도구를 호출할 수 있다.
- 검증 및 점수가 가능하다.
- 트레이스를 나중에 학습 데이터로 전환할 수 있다.
Validation Results
Live report: https://zo.pub/man42/llm-foundry
Screenshots
- Top: https://zo.pub/man42/llm-foundry/top.png
- Mid: https://zo.pub/man42/llm-foundry/mid.png
- Bottom: https://zo.pub/man42/llm-foundry/bottom.png
Benchmark Summary
| Metric | Pass Rate |
|---|---|
| Benchmark overall | 50 % |
| Reasoning harness | 60 % |
| Coding harness | 100 % |
| Tool‑use harness | 100 % |
| Memory harness | 100 % |
벤치마크 통과율은 자랑이 아니라 기준점입니다. 중요한 점은 시스템이 측정 가능하고, 따라서 개선 가능하다는 것입니다.
Memory System Improvements
검색 레이어가 이제 임베딩 기반이 되어, 시스템이 문자 그대로의 단어 매치가 아니라 의미적으로 관련된 컨텍스트를 찾을 수 있게 되었습니다. 이는 작업 문구는 바뀌어도 의미는 동일할 때, 표현 차이 때문에 유용한 정보를 놓치는 일을 방지합니다.
Goals and Infrastructure
목표는 단순한 “모델 래퍼”가 아니라 LLM 작업을 위한 실용적인 운영 레이어를 만드는 것입니다:
- 모델은 로컬이든 원격이든 상관없습니다.
- 백엔드는 OpenAI 호환이든 Anthropic이든 가능합니다.
- 메모리는 압축되고 재사용될 수 있습니다.
- 트레이스는 학습 데이터가 될 수 있습니다.
- 벤치마크는 개선 여부를 알려줍니다.
이 인프라스트럭처는 모델을 장기 작업, 연구, 제품 워크플로에 사용할 수 있게 합니다.
Repository
- GitHub repo: https://github.com/AmSach/llm-foundry
- GitHub profile: https://github.com/AmSach
- Proof pack: https://zo.pub/man42/llm-foundry