[논문] Sink-Aware Pruning for Diffusion Language Models
Diffusion Language Models (DLMs)는 반복적인 디노이징으로 인해 높은 추론 비용이 발생하여 효율적인 프루닝을 필요로 합니다. 기존 프루닝 휴리스틱은 주로 …
3058 posts from this source
Diffusion Language Models (DLMs)는 반복적인 디노이징으로 인해 높은 추론 비용이 발생하여 효율적인 프루닝을 필요로 합니다. 기존 프루닝 휴리스틱은 주로 …
Vision-Language-Action models (VLAs)는 언어 지시를 로봇 제어에 연결할 것을 약속하지만, 실제로는 언어를 충실히 따르지 못하는 경우가 많다. When pr...
보상 모델링은 RLHF와 RLAIF를 포함한 현대 정렬 파이프라인의 핵심 요소이며, PPO와 TRPO를 포함한 정책 최적화 방법의 기반을 제공합니다. How...
언어 식별(LID)은 다국어 자연어 처리 파이프라인에서 중요한 구성 요소이며, 코퍼스 큐레이션 및 훈련을 용이하게 합니다…
인간이 고위험 의사결정을 위해 다중 라운드 대화형 AI에 점점 더 의존함에 따라, 이러한 상호작용이 신뢰할 수 있게 구현되도록 원칙적인 프레임워크가 필요합니다.
대규모 비전-언어 모델(LVLMs)에 대한 블랙박스 적대적 공격은 그래디언트가 없고 복잡한 멀티모달 경계 때문에 어려운 과제입니다. 기존 연구는…
복잡한 장면에서 사용자가 지정한 객체를 검색하는 것은 특히 쿼리가 모호하거나 유사한 객체가 여러 개 포함될 때 어려운 과제입니다. Exi...
시계열 파운데이션 모델을 학습하는 것이 다양한 시계열 도메인에서 제로샷 시계열 예측에 유망한 접근법임이 입증되었습니다. Insof...
LLM을 활용한 추론은 점점 더 넓은 검증 루프 안에서 전개됩니다. 내부적으로 시스템은 자기 일관성(self-consistency)이나 프록시 보상(proxy rewards)과 같은 저비용 검사를 사용합니다, …
현대의 오프라인 Reinforcement Learning (RL) 방법은 성능이 좋은 actor-critic을 찾지만, 이러한 actor-critic을 온라인에서 value-based RL 알고리즘으로 미세 조정하는…
신흥 페르시아어 NLP 벤치마크가 화용론과 공손함으로 확장되고 있지만, 이들은 기억된 문화적 사실과 능력을 구분하는 경우는 드물다.
LLM 기반 에이전트는 침투 테스트 자동화에 대한 가능성을 보여주지만, 보고된 성능은 시스템 및 벤치마크마다 크게 차이납니다. 우리는 28개의 LLM 기반 …
강화 학습(RL)은 추론 작업에서 대형 언어 모델을 개선하는 데 널리 사용되며, 비동기 RL 훈련은 ...
대규모 언어 모델(LLMs)의 확산은 기계가 생성한 콘텐츠와 인간이 작성한 텍스트를 구별할 효율적인 메커니즘을 필요로 합니다. 통계적 ...
현재 speech LLM은 대체로 암시적 ASR을 수행한다: 전사본으로 해결 가능한 작업에서는 행동적으로 그리고 메커니즘적으로 단순 WhispertoL과 동등하다.
자율 웹 에이전트가 급속히 발전하고 있음에도 불구하고, 인간의 개입은 작업이 진행됨에 따라 선호도를 형성하고 에이전트 행동을 교정하는 데 여전히 필수적이다. Howe...
최근 멀티모달 대형 언어 모델(MLLMs)의 발전은 전문 도구 기반 이미지에 대한 비전‑언어 추론을 확장할 큰 잠재력을 보여주고 있습니다.
Error-bounded lossy compression은 대규모 HPC 시뮬레이션에서 생성되는 방대한 데이터 양을 관리하는 데 필수적입니다. 최신 압축기들은 …
이 논문은 극히 긴 시간 범위 작업을 해결하도록 훈련된 오픈소스 LLM 에이전트인 KLong을 소개한다. 원리는 먼저 트래젝토리를 통해 모델을 콜드스타트하는 것이다.
Instruction‑following language models는 도움이 되고 안전하도록 훈련되지만, 그들의 안전 행동은 온건한 fine‑tuning 하에서는 악화될 수 있고, ad… 아래에서 더욱 악화될 수 있다.
우리는 익명 n-노드 네트워크에서 self-stabilizing leader election 문제를 연구한다. 낮은 공간 메모리 복잡도로 self-stabilization을 달성하는 것은 특히…
Natural Language Processing (NLP) 도구는 요구사항 공학(RE) 작업인 요구사항 도출, 분류 및 검증을 지원합니다. 그러나, 그들은…
Self-adaptive systems는 인간과 점점 더 긴밀하게 상호작용하며, 종종 동일한 physical 또는 virtual 환경을 공유하고 의사결정을 e...
Quantum computing은 고전 컴퓨터의 능력을 뛰어넘는 계산 문제를 해결할 잠재력 때문에 큰 관심을 받고 있습니다. With maj...