· ai
[Paper] 하나의 모델에서 다수의 마음: 베이지안 트랜스포머를 이용한 Population Intelligence
그 규모와 성공에도 불구하고, 현대 트랜스포머는 거의 보편적으로 단일 목표 시스템으로 학습됩니다: 최적화는 하나의 결정론적 파라미터 집합을 생성합니다.
-
- · ai
[Paper] 표현의 기하학 및 위상수학: 모듈러 덧셈의 다양체
Clock와 Pizza 해석은 균일한 어텐션 또는 학습 가능한 어텐션이 다른 아키텍처와 연관되어 있으며, 서로 다른 a...
- · ai
[Paper] 신뢰성 있고 복원력 있는 LLM 학습 및 서빙을 위한 Collective Communication Library
현대의 ML 학습 및 추론은 이제 수십 대에서 수만 대의 GPU에 걸쳐 이루어지며, 네트워크 오류로 인해 복구가 느려 GPU 시간의 10~15%가 낭비될 수 있습니다. Common ne...
- · ai
[Paper] 스마트 빌딩의 인간 중심 에너지 관리 시스템을 위한 컨텍스트 인식 LLM 기반 AI 에이전트
본 연구는 Large Language Model (LLM) 기반 Building Energy Management System (BEMS) AI agents를 위한 개념적 프레임워크와 프로토타입 평가를 제시한다…
- · ai
[Paper] AdaGReS: 토큰 예산 기반 RAG를 위한 중복 인식 스코어링을 통한 적응형 탐욕적 컨텍스트 선택
Retrieval-augmented generation (RAG)은 선택된 컨텍스트의 품질에 매우 민감하지만, 표준 top‑k 검색은 종종 중복되거나 거의 복제된…
- · ai
[Paper] 생성적 분류기는 단축 해결책을 피한다
Discriminative approaches to classification은 종종 in-distribution에서는 유효하지만 사소한 distribution shift에서도 실패하는 shortcuts를 학습합니다. 이러한 실패 모드는…
- · ai
[Paper] 사고의 연속으로서의 모델링 언어
Transformer 언어 모델은 언어를 토큰의 시퀀스로 모델링함으로써 놀라울 정도로 자연스러운 텍스트를 생성할 수 있습니다. 그러나 주로 표면 수준의 동시 발생 통계에 의존함으로써…
- · ai
[Paper] ResponseRank: 데이터 효율적인 보상 모델링을 통한 선호 강도 학습
이진 선택은 인간 피드백을 통한 강화 학습(RLHF)에서 자주 사용되며, 선호도의 방향만을 전달합니다. 사람은 사과를 ...
- · ai
[Paper] PDE에 대한 딥 그래디언트 플로우 방법의 일반화 오류 수렴
이 논문의 목적은 고차원 문제에 대한 해를 구하기 위해 딥 그래디언트 플로우 방법(DGFMs)을 적용하는 데 견고한 수학적 기반을 제공하는 것이다.
- · ai
[Paper] Diffusion Language Models는 증명된 최적의 병렬 샘플러이다
Diffusion language models (DLMs)은 autoregressive models에 대한 유망한 대안으로 부상했으며, parallel token generation을 통해 더 빠른 추론을 가능하게 합니다. 우리는 …
- · ai
[Paper] First-Order Optimization을 위한 기본 부등식 및 Statistical Risk Analysis에의 적용
우리는 first-order 반복 최적화 알고리즘에 대한 기본 부등식을 도입하여, implicit와 explicit을 연결하는 간단하고 다재다능한 프레임워크를 형성합니다.
- · ai
[Paper] 긴 법률 문서를 짧은 무작위 청크로 분류
법률 문서를 분류하는 것은 도전 과제이며, 전문 용어 외에도 때때로 문서가 매우 길어질 수 있습니다. 이는 전체 문서를 T...에 입력한다는 것을 의미합니다.