1개월 전 · ai

[Paper] Constructive Circuit Amplification: LLMs의 수학적 추론 향상을 위한 Targeted Sub-Network Updates

이전 연구들에서 LLM의 내부 작동을 조사한 결과, 종종 회로(circuits)라고 불리는 희소 서브네트워크가 발견되었으며, 이들은 ... 수행하는 데 책임이 있다.

1개월 전 · ai

[Paper] 탐색 vs. 활용: 클리핑, 엔트로피, 그리고 Spurious Reward를 통한 RLVR 재고찰

이 논문은 검증 가능한 보상(RLVR)을 갖는 강화 학습에서 exploration‑exploitation trade‑off를 조사하며, 이는 추론 능력을 향상시키기 위한 프레임워크이다.

1개월 전 · ai

[Paper] Post-Hoc Watermarking과 Language Model Rephrasing의 성능은 얼마나 좋은가?

Generation-time text watermarking은 AI 생성 콘텐츠의 추적성을 위해 텍스트에 통계적 신호를 삽입합니다. 우리는 LLM이 ...인 *post-hoc watermarking*을 탐구합니다.

1개월 전 · ai

[Paper] 인컨텍스트 대수

우리는 토큰이 의미가 결정되는 변수인 시퀀스에서 산술을 해결하도록 트랜스포머를 학습시킬 때 발생하는 메커니즘을 조사한다.

1개월 전 · ai

[Paper] 뉴스 AI를 위한 역사적 훈련 데이터의 인종 편향 영향

AI technologies는 대규모 텍스트 코퍼스를 포함하는 비즈니스 및 연구 응용 분야로 빠르게 진입했으며, 여기에는 computational journalism 연구와 뉴스가 포함됩니다.

1개월 전 · ai

[Paper] 멀티모달 RewardBench 2: 교차 텍스트와 이미지에 대한 Omni Reward Models 평가

보상 모델(RMs)은 대형 언어 모델(LLMs) 훈련에 필수적이지만, 이미지와 텍스트가 교차하는 시퀀스를 처리하는 옴니 모델에 대해서는 아직 충분히 탐구되지 않았다.

1개월 전 · ai

[Paper] AdaSearch: 대형 언어 모델에서 강화 학습을 통해 파라메트릭 지식과 검색의 균형 맞추기

대규모 언어 모델(LLMs)을 강화 학습(RL)을 통해 검색 엔진과 결합하는 것이 검색 에이전트를 구축하는 효과적인 접근법으로 부상하고 있다. Howe...

1개월 전 · ai

[Paper] LLMCache: 트랜스포머 추론에서 가속된 재사용을 위한 레이어별 캐싱 전략

Transformer 기반 언어 모델은 다양한 작업에서 놀라운 성능을 달성했지만, 높은 inference latency는 상당한 과제를 제기합니다.

1개월 전 · ai

[Paper] 프로소디와 텍스트는 무엇을 전달하는가? 의미 있는 정보가 다중 채널에 어떻게 분포되는지 특성화

Prosody -- 말의 멜로디 --는 메시지의 단어나 텍스트에 포착되지 않는 중요한 정보를 전달한다. 이 논문에서는 information-t...

1개월 전 · ai

[Paper] 토픽 모델링 블랙 박스 최적화

잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)에서 토픽 수 T를 선택하는 것은 통계적 적합도와 해석 가능성 모두에 강력하게 영향을 미치는 핵심 설계 결정입니다.

1개월 전 · ai

[Paper] Predictive Concept Decoders: 확장 가능한 End-to-End 해석 보조 도구 훈련

신경망의 internal activations을 해석하는 것은 그들의 행동에 대한 보다 충실한 설명을 제공할 수 있지만, 복잡한 구조 때문에 어렵다.

1개월 전 · ai

[Paper] Activation Oracles: LLM을 일반‑목적 Activation Explainers로 훈련 및 평가

대규모 언어 모델(LLM) 활성화는 이해하기가 매우 어렵기로 유명하며, 기존의 대부분 기술은 복잡하고 특수한 방법을 사용하여 해석…