1개월 전 · ai

[Paper] Attribution Graphs를 활용한 대형 언어 모델의 추론 설명

대형 언어 모델(LLMs)은 놀라운 능력을 보여주지만, 그들의 추론은 불투명하여 안전성과 신뢰에 대한 우려를 제기합니다. Attribution methods, which ...

1개월 전 · ai

[Paper] PPSEBM: 지속 학습을 위한 점진적 파라미터 선택을 갖춘 에너지 기반 모델

Continual learning은 machine learning에서 여전히 근본적인 과제로 남아 있으며, 모델이 이전에 습득한 것을 잊지 않고 작업 스트림으로부터 학습하도록 요구합니다.

1개월 전 · ai

[Paper] Auto-Encoders를 이용한 Mamba의 선택적 메모리 특성화

State space models (SSMs)는 고정된 메모리를 사용해 추론하기 때문에 언어 모델링에서 transformer에 대한 유망한 대안으로 주목받고 있습니다. 그러나 이 고정…

1개월 전 · ai

[Paper] VTCBench: Vision‑Language 모델은 Vision‑Text Compression을 통해 긴 컨텍스트를 이해할 수 있을까?

LLM의 컨텍스트 윈도우를 확장하는 데 따른 계산 및 메모리 오버헤드는 확장성을 크게 제한합니다. 주목할 만한 해결책은 vision-te...

1개월 전 · ai

[Paper] 얼마나 많이가 너무 많은가? 지식 유지와 도메인 견고성을 위한 LoRA Rank 트레이드오프 탐색

대규모 언어 모델은 점점 더 파인튜닝을 통해 다운스트림 작업에 적용되고 있다. 전체 감독 파인튜닝(Full supervised fine-tuning, SFT)과 파라미터 효율 파인튜닝(parameter‑efficient fine‑tuning, P…

1개월 전 · ai

[Paper] LLM-as-Judges를 활용한 안전성 메트릭 평가

LLMs(대형 언어 모델)은 다양한 입력 및 생성 작업에 지능적으로 대응하기 위해 텍스트 처리 파이프라인에서 점점 더 많이 사용되고 있습니다. 이는 …

1개월 전 · ai

[Paper] 사람을 절대 알 수 없고, 그들의 방어기제만 알 수 있다: 지지 대화에서 심리적 방어기제 수준 감지

Psychological defenses는 사람들이 고통을 관리하기 위해 사용하는, 종종 자동적인 전략이다. 방어의 경직성이나 과다 사용은 정신 건강에 부정적인 영향을 미친다…

1개월 전 · ai

[Paper] Bolmo: 다음 세대 언어 모델의 Byteizing

우리는 Bolmo를 소개합니다. 이는 1B와 7B 파라미터 규모에서 경쟁력 있는 완전 오픈 바이트‑레벨 언어 모델(LM) 최초의 패밀리입니다. 기존 연구와는 달리…

1개월 전 · ai

[Paper] TimeLens: 멀티모달 LLMs와 함께하는 Video Temporal Grounding 재고찰

이 논문은 새로운 방법을 제시하는 것이 아니라, 비디오 시간적 그라운딩(VTG)을 위한 직관적이고 점진적이며 필수적인 베이스라인을 설정합니다.

1개월 전 · ai

[Paper] MMGR: 멀티모달 생성적 추론

비디오 파운데이션 모델은 시각적으로 현실적이고 시간적으로 일관된 콘텐츠를 생성하지만, world simulators로서의 신뢰성은 그것들이 p를 포착하는지 여부에 달려 있습니다.

1개월 전 · ai

[Paper] Spoken DialogSum: 감정이 풍부한 대화 데이터셋 for Spoken Dialogue Summarization

최근 audio language models는 긴 대화를 따라갈 수 있습니다. 그러나 emotion-aware 또는 spoken dialogue summarization에 대한 연구는 데이터 부족으로 제한됩니다.

1개월 전 · ai

[Paper] 빠르고 정확한 Causal Parallel Decoding using Jacobi Forcing

멀티 토큰 생성은 트랜스포머 기반 대형 모델 추론을 가속화하기 위한 유망한 패러다임으로 부상했습니다. 최근 연구들은 주로 디퓨전을 탐구하고 있습니다.