Replicate에서 Ibm-Granite의 Granite-3.1-2b-Instruct 모델 초보자 가이드
발행: (2026년 1월 5일 오후 12:31 GMT+9)
4 min read
원문: Dev.to
Source: Dev.to
Overview
Granite‑3.1‑2b‑Instruct는 ibm‑granite에서 유지 관리하는 오픈‑소스 언어 모델입니다. 이전 모델 granite‑3.0‑2b‑instruct를 기반으로 하며, 컨텍스트 길이를 4 K에서 128 K 토큰으로 확장하면서 계산 효율성과 성능 사이의 균형을 유지합니다. 이 모델은 Granite‑3.1 패밀리의 일부이며, granite‑3.1‑8b‑instruct와 같은 더 큰 변형도 포함되어 있어 다양한 계산 요구에 맞는 옵션을 제공합니다.
Model Details
- Architecture: Decoder‑only transformer
- Parameter count: 2 billion
- Context window: Up to 128 K tokens
- License: Open source (check the repository for the exact license)
모델은 텍스트 기반 프롬프트를 받아 채팅‑스타일 인터페이스를 통해 인간과 같은 응답을 생성합니다. 시스템 프롬프트를 사용해 모델의 행동을 안내합니다.
Prompting Parameters
| Parameter | Description | Default |
|---|---|---|
| Prompt | 모델이 응답할 주요 텍스트 입력 | – |
| System Prompt | 모델 행동을 안내 (예: “You are a helpful assistant”) | “You are a helpful assistant” |
| Temperature | 출력 무작위성을 제어; 값이 높을수록 더 다양한 텍스트 생성 | 0.6 |
| Max Tokens | 생성된 출력의 최대 길이 제한 | – |
| Min Tokens | 생성된 출력의 최소 길이 제한 | – |
| Top K / Top P | 샘플링 중 토큰 선택을 제어하는 파라미터 | – |
| Frequency Penalty | 자주 등장하는 토큰의 반복을 감소 | – |
| Presence Penalty | 아직 출력에 나타나지 않은 새로운 토큰을 도입하도록 모델을 유도 | – |
Features
- Text Generation: 다운스트림 처리에 적합한 배열 형식으로 텍스트 응답을 생성합니다.
- Context‑Aware Responses: 채팅 형식으로 사용할 때 대화 컨텍스트를 유지하여 다중 턴 상호작용이 가능합니다.
- Instruction Following: 다양한 사용자 지시를 이해하고 합리적인 정확도로 실행하도록 설계되었습니다.
Usage Tips
- 명확한 시스템 프롬프트를 설정해 어시스턴트의 역할과 톤을 정의합니다.
- temperature를 원하는 창의성에 맞게 조정합니다: 결정적인 답변을 원하면 낮은 값, 다양성을 원하면 높은 값.
- top‑K/top‑P 샘플링을 사용해 일관성과 다양성 사이의 균형을 미세 조정합니다.
- 반복적이거나 지나치게 일반적인 응답이 보일 때 frequency와 presence 페널티를 적용합니다.
자세한 내용은 공식 Granite‑3.1‑2b‑Instruct 저장소와 문서를 참고하세요.