neural networks

19시간 전 · ai

시각적인 Python 예제로 ReLU 이해

ReLU 활성화 함수를 사용하기 이전 기사들에서는 역전파(back‑propagation)를 사용하고 그래프를 그려 값을 정확히 예측했습니다. 모든 예제는 …

#ReLU #activation function #deep learning #neural networks #Python #visualization #machine learning
1일 전 · ai

처음부터 시작: 30M 토폴로지 트랜스포머 학습

번역할 텍스트를 제공해 주시겠어요?

#transformer #topological transformer #machine learning #deep learning #neural networks #model training #30M parameters
2일 전 · ai

단어에서 벡터로: 의미론이 언어학에서 대형 언어 모델로 어떻게 이동했는가

왜 의미가 정의에서 구조로 이동했는가 — 그리고 그것이 현대 AI에 어떤 변화를 가져왔는가 엔지니어들이 의미 검색(semantic search), 임베딩(embeddings), 혹은 “unde…” 라는 LLM에 대해 이야기할 때.

#semantics #embeddings #large language models #natural language processing #neural networks #AI history #linguistics
3일 전 · ai

Show HN: 키가 크고 얇은 네트워크의 Hessian은 역으로 구하기가 쉽다

딥넷의 Hessian의 역(inverse)을 벡터에 적용하는 것이 쉽다는 것이 밝혀졌다. 이를 단순히 수행하면 레이어 수 s에 대해 연산량이 세제곱으로 증가한다.

#Hessian #deep learning #neural networks #second-order optimization #efficient algorithms
4일 전 · ai

AI 모델의 학습 역학 재고: 실험을 통한 초기 이론

신경망 훈련 중 표현 불안정성 관찰 신경망 훈련 행동을 실험하면서, 나는 반복되는 패턴을 발견했다.

#neural networks #representation learning #training dynamics #gradient descent #deep learning #model instability
1주 전 · ai

DeepSeek의 MHC 재현: Residual Connections가 폭발할 때

번역하려는 텍스트를 제공해 주시겠어요? 텍스트를 알려주시면 한국어로 번역해 드리겠습니다.

#deep learning #residual connections #model reproduction #DeepSeek #MHC #neural networks
1주 전 · ai

🧠✂️ Neural Network Lobotomy: LLM에서 7개의 레이어를 제거 — 30% 더 빨라짐

언어 모델에서 외과적 레이어 제거 실험: 나는 TinyLlama 1.1 B 파라미터와 22개의 디코더 레이어를 사용해 레이어를 하나씩 제거하면서 가설을 테스트했다.

#LLM #layer pruning #model optimization #TinyLlama #inference speed #neural networks
1주 전 · ai

Neural Network에 Mandelbrot Set을 가르치기

그리고 왜 Fourier features가 모든 것을 바꾸는가. “Teaching a Neural Network the Mandelbrot Set” 포스트는 처음에 Towards Data Science에 게재되었습니다....

#neural networks #Mandelbrot set #Fourier features #deep learning #function approximation
1주 전 · ai

Attention Heads를 이해하려고 (대부분 실패) 시도하면서 배운 것

제가 처음에 믿었던 것 깊이 파고들기 전에, 저는 몇 가지를 암묵적으로 믿고 있었습니다: - 만약 attention head가 특정 token에 지속적으로 주의를 기울인다면, 그 token은…

#attention #transformers #language models #interpretability #machine learning #neural networks #NLP
1주 전 · ai

데이터 분석가 가이드: Neural Networks 마스터하기: 분석가가 Deep Learning을 사용해야 할 때

Data Analyst Guide: Mastering Neural Networks – When Analysts Should Use Deep Learning Data Analyst라면 Neural Networks에 대한 화제에 익숙할 것입니다.

#neural networks #deep learning #data analysis #machine learning #predictive modeling #AI applications
1주 전 · ai

글로벌 어텐션 메커니즘: 정보를 유지하여 채널‑공간 상호작용 강화

개요: Global attention은 컴퓨터가 사진을 더 잘 볼 수 있게 도와줍니다—세부 사항을 잃지 않으면서. 전체 이미지에 걸쳐 정보를 유지함으로써, 모델은 …

#global attention #computer vision #image recognition #channel-spatial interaction #deep learning #neural networks #mobile AI
2주 전 · ai

Neural Networks: 제로에서 히어로까지

번역할 텍스트를 제공해 주시겠어요? 해당 내용이 있어야 한국어로 번역해 드릴 수 있습니다.

#neural networks #deep learning #tutorial #zero-to-hero #Andrej Karpathy

Newer posts

Older posts