model efficiency

3주 전 · ai

그래프 구조 데이터에 대한 Deep Convolutional Networks

개요 대부분의 스마트 머신은 사진과 소리를 처리하는 데 놀라운 능력을 갖추게 되었습니다. 이는 이러한 데이터 유형이 명확한 패치와 레이어를 가지고 있기 때문입니다. 하지만 텍스트, 유전자, …

#graph neural networks #deep learning #graph convolutional networks #graph-structured data #model efficiency
0개월 전 · ai

1과 0만으로 LLM을 구축하면 어떻게 될까

오늘날 표준 모델보다 41배 더 효율적이고 9배 더 빠른 LLM. “What Happens When You Build an LLM Using Only 1s and 0s”라는 게시물이 처음으로 T…에 실렸습니다.

#LLM #model efficiency #binary representation #AI research #large language models
1개월 전 · ai

📌 대부분의 모델은 Grouped Query Attention을 사용합니다. 그렇다고 해서 여러분의 모델도 그래야 하는 것은 아닙니다.📌

기사 일러스트 https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.amazo...

#grouped query attention #attention mechanisms #transformers #model efficiency #scalable AI #deep learning #neural network architecture
1개월 전 · ai

Ai2의 새로운 Olmo 3.1이 reinforcement learning 훈련을 확장해 더 강력한 reasoning benchmarks를 달성한다

Allen Institute for AI인 Ai2는 최근 자신들이 지금까지 만든 가장 강력한 모델 패밀리인 Olmo 3을 발표했습니다. 하지만 회사는 모델을 계속 iterating하며, exp…

#Olmo 3.1 #reinforcement learning #reasoning benchmarks #Allen Institute for AI #large language models #model efficiency
1개월 전 · ai

[Paper] 효율적인 Vision Transformer를 위한 주파수 인식 토큰 감소

Vision Transformers는 다양한 컴퓨터 비전 작업에서 뛰어난 성능을 입증했지만, 토큰에 대한 이차 계산 복잡도는…

#vision transformers #token reduction #frequency-aware pruning #computer vision #model efficiency