👀 어텐션을 5살 아이에게 설명하듯

Source: Dev.to

AI에서 어텐션이란?

어텐션은 언어 모델을 위한 형광펜과 같습니다.
공부할 때 시험에 중요한 부분을 밑줄 치고 나머지는 무시하듯,
AI 모델도 현재 단어를 이해하는 데 가장 관련 있는 단어에 더 높은 “어텐션 점수”를 부여합니다.

예시: “bank”의 의미 구분

문장: “The bank by the river had no money.”

어텐션이 없으면, 옛날 AI는 bank의 의미를 50/50 확률로 추측합니다:

• 💰 Bank (금융 기관)
• 🏞️ Bank (강가)

어텐션을 사용하면 모델은 주변 단어들을 살펴봅니다:

• bank → “river” (강한 연결)
• bank → “money” (약한 연결, 문장이 “no money”라고 말하므로)

“river”와의 강한 연결 때문에 모델은 bank를 강가 🏞️ 로 해석합니다.

어텐션이 단어에 점수를 매기는 방식

다음 문장을 살펴보세요:

“The cat sat because it was tired.”

모델이 대명사 it을 처리할 때, 각 다른 단어의 관련성을 평가합니다:

따라서 모델은 it가 the cat을 가리킨다고 추론합니다.

시각적으로 표현하면:

The  cat  sat  on   mat  it   was  tired
it:   low  high low  -    -    -    medium

점수가 높을수록 더 많은 어텐션을 의미하며, 이는 처리 중인 단어와의 관련성이 높다는 것을 나타냅니다.

어텐션이 중요한 이유

어텐션 메커니즘이 도입되기 전에는 모델이 한 번에 한 단어씩 읽으며 앞쪽 문맥을 빠르게 잃어버렸습니다. 어텐션을 통해 모델은 다음을 할 수 있게 됩니다:

• 언어를 더 정확하게 번역
• 질문을 이해하고 답변
• 일관된 단락 생성
• 코딩 작업 지원

텍스트에서 가장 관련 있는 부분에 집중함으로써, 어텐션은 AI가 인간처럼 중요한 구절을 강조하고 맥락을 파악하도록 도와줍니다.