๐ ๋๋ถ๋ถ์ ๋ชจ๋ธ์ Grouped Query Attention์ ์ฌ์ฉํฉ๋๋ค. ๊ทธ๋ ๋ค๊ณ ํด์ ์ฌ๋ฌ๋ถ์ ๋ชจ๋ธ๋ ๊ทธ๋์ผ ํ๋ ๊ฒ์ ์๋๋๋ค.๐
Source: Dev.to

๊ฐ์
์ต๊ทผ์ ๊ฐ์ ํจํด์ ์์ฃผ ๋ณด๊ฒ ๋ฉ๋๋ค. ์ฃผ์ ๋ฉ์ปค๋์ฆ์ด ๋ฑ์ฅํ ๋๋ง๋ค ๋ต์ ๊ฑฐ์ ์๋์ ์ผ๋ก: Grouped Query Attention์ ์ฌ์ฉํ๋ผ ์ ๋๋ค.
์์งํ ์ ๊ทธ๋ฐ์ง ์ดํดํฉ๋๋ค. GQA๋ ์๋ํฉ๋๋ค. ํจ์จ์ ์ด๊ณ , ํ์ฅ์ฑ์ด ์ข์ผ๋ฉฐ, ๋๋ถ๋ถ์ ์ต์ ๋ชจ๋ธ์ด ์ด๋ฅผ ์ฌ์ฉํฉ๋๋ค.
ํ์ง๋ง ๊ทธ๊ฒ์ด ํญ์ ์ฌ๋ฐ๋ฅธ ์ ํ์ด๋ผ๋ ๋ป์ ์๋๋๋ค.
์ฃผ์ ๋ฉ์ปค๋์ฆ ์ ํํ๊ธฐ
๊ตฌ์ถํ๋ ค๋ ๊ฒ์ดโ๊ธด ์ปจํ ์คํธ, ์๊ฒฉํ ์ง์ฐ ์์ฐ, ํน์ ๋จ์ ์คํโ์ ๋ฐ๋ผ ๋ค๋ฅธ ์ค๊ณ๊ฐ ๋ ์ ํฉํ ์ ์์ต๋๋ค, ์๋ฅผ ๋ค์ด:
- โ ๋ฉํฐํค๋ ์ดํ ์
- โ ๋ฉํฐ์ฟผ๋ฆฌ ์ดํ ์
- โ ์ ์ฌ ์ดํ ์
๋์์
- ๐ฅ ์ฃผ์ ๋ฉ์ปค๋์ฆ ์ ํ์ ๋ํด ์๊ฐํ๋ ๋ฐฉ๋ฒ
- ๐ฅ ์คํฌ๋์น๋ถํฐ ์ ํ ์ดํ ์ ์ฝ๋ฉํ๊ธฐ
์ด๋ฏธ์ง ์ถ์ฒ: @Hugging Face