생성 AI 소개

출처: Dev.to

Generative AI가 무엇인가요?
콘텐츠를 어떻게 생성하나요?
모델이란 무엇인가요?

120b 모델은 방정식에 1,200억 개의 파라미터가 있다는 뜻입니다. 생성 AI에서 흔히 사용되는 모델 유형 중 하나는 LLM입니다.
LLM이란 무엇인가요?
GPT 모델에 인사하면, 학습된 데이터를 기반으로 다음 단어를 예측하고 반환합니다. 제 경우에는 “Hello, How can I help you today?” 라는 응답을 받았습니다.

응답은 한 번에 모두 생성되어 전송되지 않습니다. 하나씩 생성되어 스트리밍 방식(SSE 이벤트)으로 전송됩니다.
다음 단어는 어떻게 예측하나요?
출력 결과를 제어하도록 모델을 조정할 수 있나요?

다음 매개변수를 조정하면 가능합니다.

• Temperature

  • 낮은 온도에 대한 예시 프롬프트

  • 높은 온도에 대한 예시 프롬프트

2. Top‑K
   “The cat sat on the ----” 문장에서 K 값에 따라 예측되는 다음 단어들.

3. Top‑P
   “The cat” and top_p = 0.7