잠깐, 여러분은 evals를 실행하나요?

Source: Dev.to

Introduction

이 표현과 어울리는 밈이 떠오르지만, 관련 이미지는 찾을 수 없습니다.

The Problem with Standard Benchmarks

시스템, 제품, 혹은 모델에 의존해 의사결정을 내리는 백엔드를 구축할 때 보통 몇 개의 동료 검토된 벤치마크를 찾아 가장 어려운 과제를 실행하고, “자기 만족의 보너스”를 주어 경쟁사 대비 어느 위치에 있는지 확인합니다—위인지 아래인지.

Limitations of Existing Metrics

좋은 접근이지만, 일부 메트릭은 여러분의 정확한 사용 사례에 맞게 설계되지 않았습니다. 한 번이라도 물러서서 여러분의 시스템이 실제로 제공하는 이점을 밝혀낼 수 있는 평가를 직접 만들어 보는 생각을 해본 적 있나요?

Building Custom Evaluations

목적에 맞게 만든 평가를 만들면 작업에 대한 새로운 발견—긍정적인 것과 부정적인 것—을 드러낼 수 있습니다. 그 결과는 억제해야 할 실패와 강화해야 할 강점의 지도와 같습니다.

Why It Matters

우리 각자는 자신만의 청사진과 사물을 보고 실행하는 방식을 가지고 있습니다. 이런 관점(POV)은 논의에서 그 나름의 위치를 차지합니다.

Thanks for reading.