1주 전 · ai

[Paper] 검증기 탈출: 시연을 통한 추론 학습

대형 언어 모델(LLMs)을 추론하도록 훈련하는 것은 종종 작업별 검증자를 이용한 강화 학습(RL)에 의존한다. 그러나 많은 실제 상황의 추론‑...

1주 전 · ai

[Paper] URL을 넘어: 효율적인 LLM 사전학습을 위한 메타데이터 다양성 및 위치

Large Language Models (LLMs) 사전 학습에 메타데이터를 통합하는 것이 최근 훈련을 가속화하기 위한 유망한 접근법으로 부상하고 있습니다. 그러나 이전 연구는 …

1주 전 · ai

[Paper] Attention logits의 변화를 제어하기

신경망 가중치의 안정성은 트랜스포머 모델을 훈련할 때 매우 중요합니다. 쿼리와 키 가중치는 특히 문제가 되는데, 이들은 성장하는 경향이 있습니다.

1주 전 · ai

[Paper] Agint: 소프트웨어 엔지니어링 에이전트를 위한 Agentic Graph Compilation

LLM 기반 코딩 에이전트는 점점 흔해지고 있지만 여전히 컨텍스트 관리, 레이턴시, 신뢰성, 재현성 및 확장성 측면에서 도전에 직면하고 있습니다. We pres...