Generative AI의 기본 개념 설명

Source: Dev.to

도메인 2 – 생성 AI 기본

작업 설명 2.1

도메인 1은 AI/ML의 언어를 제공합니다.
도메인 2는 AWS 시험 내용과 실제 워크로드에서 점점 더 핵심이 되고 있는 보다 구체적인 주제, 즉 Generative AI에 초점을 옮깁니다.

레이블(예: 사기/비사기)이나 숫자(예: 다음 달 수요)를 예측하는 대신, GenAI 모델은 방대한 데이터셋에서 학습한 패턴을 기반으로 텍스트, 이미지, 오디오, 비디오, 코드와 같은 새로운 콘텐츠를 생성합니다.

이 도메인은 핵심 구성 요소(토큰, 임베딩, 트랜스포머, 디퓨전), 일반적인 사용 사례 및 기본 모델의 고수준 라이프사이클을 다룹니다.

🎯 목표

• 생성 AI의 핵심 개념과 용어를 정의합니다.
• 생성 AI 모델의 일반적인 실제 사용 사례를 인식합니다.
• 데이터 및 모델 선택부터 사전 학습, 파인튜닝, 평가, 배포, 피드백에 이르는 기본 모델 라이프사이클을 설명합니다.

1️⃣ 기본적인 GenAI 개념 정의

1.1 Tokens

• Tokens 은 언어 모델이 읽고 쓰는 기본 단위(단어, 서브‑워드, 구두점, 공백)입니다.
• Tokens 가 중요한 이유: 비용/지연 시간 및 모델 제한은 종종 토큰 수(입력 + 출력)와 연결됩니다.

1.2 Chunking

• Chunking 은 큰 텍스트를 더 작은 구간(“chunks”)으로 나누어 효과적으로 처리할 수 있게 합니다.
• Retrieval‑Augmented Generation (RAG) 에서 사용됩니다: 청크를 저장/검색한 뒤 가장 관련성 높은 청크를 모델에 제공합니다.
• Chunking 이 중요한 이유: 모델은 context‑window 제한이 있기 때문에, 청크를 사용하면 유용한 정보를 프롬프트에 맞출 수 있습니다.

1.3 Embeddings

• Embeddings 은 의미를 포착하는 콘텐츠(텍스트, 이미지 등)의 수치적 표현입니다.
• 의미가 비슷한 항목은 유사한 임베딩을 갖게 됩니다.
• Embeddings 의 활용 분야:
  • 의미 검색
  • 클러스터링
  • 추천
  • Retrieval

1.4 Vectors

• Vector 는 임베딩을 나타내는 숫자 배열입니다.
• 벡터는 유사도 측정(예: 코사인 유사도)으로 비교되어 “가장 의미가 가까운” 항목을 찾습니다.

1.5 Prompt Engineering

• Prompt engineering 은 모델 출력에 방향을 제시하기 위해 지시문과 컨텍스트를 설계하는 작업입니다.
• 주요 기법:
  • 명확한 지시문
  • 역할 프롬프팅
  • Few‑shot 예시 제공
  • 제약 조건 설정
  • 형식 요구사항 지정
  • 검색된 컨텍스트와의 결합(grounding)
• 왜 중요한가: 효과적인 프롬프트만으로도 재학습 없이 품질을 크게 향상시킬 수 있습니다.

1.6 Transformer‑Based LLMs

• 최신 LLM은 transformer 아키텍처를 기반으로 합니다.
• 핵심 아이디어: 입력의 관련 부분에 집중하도록 하는 어텐션 메커니즘.
• 강점:
  • 언어 이해 및 생성
  • 요약
  • 추출
  • 제한이 있지만 추론과 유사한 행동

1.7 Foundation Models (FMs)

• Foundation models 은 광범위한 데이터셋으로 학습된 대규모 범용 모델로, 다양한 작업에 적응할 수 있습니다.
• LLM이 흔한 형태이지만, 이미지, 오디오, 멀티모달 작업을 위한 FM도 존재합니다.

1.8 Multimodal Models

• Multimodal 모델은 하나 이상의 모달리티(예: 텍스트 + 이미지)를 입력받거나 생성합니다.
• 예시: 이미지를 제공하고 설명을 요청하거나, 텍스트를 제공해 이미지를 생성하도록 합니다.

1.9 Diffusion Models

• Diffusion models 은 이미지 생성에 널리 사용됩니다.
• “노이즈 추가” 과정을 역전시키는 방법을 학습합니다: 노이즈에서 시작해 점진적으로 이미지를 만들어냅니다.
• 왜 중요한가: 고품질 텍스트‑투‑이미지 생성의 핵심 기술입니다.

2️⃣ GenAI 모델의 잠재적 사용 사례 식별

GenAI는 대규모로 콘텐츠를 생성, 변환 또는 상호작용해야 할 때 빛을 발합니다. 일반적인 실제 사용 사례는 다음과 같습니다:

Note: GenAI는 언어/콘텐츠 생성이나 비정형 데이터 이해에 특히 강력하지만, 결정론적 출력이 필요한 경우에는 적합하지 않습니다.

3️⃣ 기본 모델 라이프사이클 설명

기본 모델은 전통적인 머신러닝과 유사한 라이프사이클을 따르지만, GenAI에 특화된 단계와 의사결정이 포함됩니다:

3.1 데이터 선택

• 크고 다양성 있는 데이터셋 선택 (텍스트, 이미지, 코드 등).
• 필터링, 품질 관리 적용 및 민감 데이터, 라이선스, 안전성 고려 사항을 처리합니다.

3.2 모델 선택

• 기존 FM을 선택하거나 사전 학습/맞춤화를 결정합니다. 고려 요소:
  • 기능 요구사항 (품질, 추론, 멀티모달)
  • 지연 시간 / 비용 제약
  • 도메인 특화 여부
  • 거버넌스 요구사항

3.3 사전 학습

• 방대한 코퍼스를 사용해 기본 모델을 학습시켜 일반적인 표현을 학습합니다.
• 이 단계는 비용이 많이 들며 일반적으로 대형 제공업체가 수행합니다.

3.4 파인튜닝

• 추가 데이터(대개 더 작고 고품질)를 사용해 모델을 특정 도메인이나 작업에 맞게 조정합니다.
• 톤, 형식, 도메인 지식, 작업 성능을 개선할 수 있습니다.

3.5 평가

• 품질, 안전성, 성능을 평가합니다:
  • 작업 품질 (도움 정도, 정확성)
  • 견고성 (예외 상황)
  • 편향 / 공정성
  • 독성 / 안전성
  • 환각 경향 (해당되는 경우)

3.6 배포

• 모델을 서비스 형태로 제공하고… (이하 내용이 이어집니다)