Bag of words, 우리를 불쌍히 여겨 주세요
발행: (2025년 12월 8일 오전 07:31 GMT+9)
1 min read
원문: Hacker News
관련 글
더 보기 »[Paper] 대형 언어 모델 훈련에서 다운스트림 메트릭의 스케일링 특성 재검토
Large Language Models (LLMs)의 스케일링 법칙은 전통적으로 사전학습 손실과 같은 프록시 메트릭에 초점을 맞추지만, 다운스트림 작업 성능을 예측하는 것은 …
[Paper] Sparse Autoencoders와 함께하는 Faithful Retrieval‑Augmented Generation
Retrieval-Augmented Generation (RAG)은 검색된 증거에 기반해 출력을 근거함으로써 대형 언어 모델(LLMs)의 사실성을 향상시키지만, 충실도 실패…
[Paper] Depth-Grown 모델은 깊이의 저주를 극복할 수 있을까? 심층 분석
학습 중에 Transformer의 깊이를 점진적으로 늘리는 것은 학습 비용을 줄일 뿐만 아니라, MIDAS가 보여주듯 추론 성능을 향상시킬 수 있습니다.
[Paper] Fluent Alignment with Disfluent Judges: Lower-resource Languages를 위한 Post-training
우리는 낮은 자원 언어에 대한 사후 훈련(post‑training) 방법을 제안한다. 이 방법은 비유창(disfluent) 보상 모델에 의해 정렬되더라도 언어 모델의 유창성(fluency)을 유지한다. Preference…