attention

1주 전 · ai

Attention Heads를 이해하려고 (대부분 실패) 시도하면서 배운 것

제가 처음에 믿었던 것 깊이 파고들기 전에, 저는 몇 가지를 암묵적으로 믿고 있었습니다: - 만약 attention head가 특정 token에 지속적으로 주의를 기울인다면, 그 token은…

#attention #transformers #language models #interpretability #machine learning #neural networks #NLP
1개월 전 · ai

[Paper] Attention logits의 변화를 제어하기

신경망 가중치의 안정성은 트랜스포머 모델을 훈련할 때 매우 중요합니다. 쿼리와 키 가중치는 특히 문제가 되는데, 이들은 성장하는 경향이 있습니다.

#attention #transformer training #learning rate scaling #model stability #research paper