FlashAttention-T: 텐서화된 어텐션을 향하여

기사 URL: https://dl.acm.org/doi/10.1145/3774934.3786425
댓글 URL: https://news.ycombinator.com/item?id=46877403
점수: 17

발행: 3시간 전 (2026년 2월 4일 오전 06:15 GMT+9)

1 min read

Source: Hacker News

기사 세부 정보

내가 직접 한 미친 실험, 작성자: @hejhdiss https://dev.to/hejhdiss. 참고: 저장소의 codebase는 원래 Claude Sonnet이 작성했지만, 나는 편집했다.

State-of-the-art AI deep potentials는 ab initio 수준의 결과를 제공하지만, first-principles quantum mechanical calculations에 비해 훨씬 적은 계산 비용으로 가능합니다.

개요 ChemBERTa는 ChemBERTa라는 트랜스포머 기반 모델을 사용하여 컴퓨터에게 분자에 대해 가르치는 새로운 접근 방식입니다. 수작업으로 만든 …에 의존하는 대신.

왜 신경망이 폭발하는가 — 훈련에 도움이 되는 간단한 해결책 일부 신경망, 특히 RNN은 폭풍 속에서 배를 조종하는 것처럼 느껴질 수 있다, 왜냐하면 작은 c...