데이터 믹싱 — 서로 다른 도메인의 데이터를 어떤 비율로 섞을지 결정하는 것 — 은 언어 모델(LMs) 훈련에서 일차적인 관심사이다. 기존의 믹싱 방법...

AI 모델은 textual reasoning에서 state-of-the-art 결과를 달성했지만, spatial 및 relational structures에 대한 추론 능력은 여전히 ​​중요한 문제로 남아 있다.

대형 언어 모델(LLM) 개발에서 지배적인 패러다임은 베이스 모델을 사전 학습(pretrain)한 뒤, 성능과 모델을 개선하기 위해 추가 학습을 수행하는 것입니다.

Diffusion 언어 모델은 텍스트를 반복적인 정제 과정을 통해 생성합니다. 이 과정은 많은 토큰이 안정 상태에 도달하기 전까지 여러 번 업데이트가 필요하기 때문에 계산 효율성이 낮은 경우가 많습니다. 기존 방법에서는 각 토큰이 완전히 수렴할 때까지 여러 단계의 디퓨전 과정을 거치며, 이는 전체 생성 시간과 비용을 크게 증가시킵니다. 최근 연구들은 이러한 비효율성을 완화하기 위해 토큰 수준에서의 동적 스케줄링, 조기 종료 전략, 그리고 부분적인 샘플링 기법을 도입하고 있습니다. 예를 들어, 토큰이 일정 기준 이상의 확신도를 보이면 해당 토큰에 대한 추가 디퓨전 단계를 건너뛰고, 남은 불확실한 토큰에만 집중하는 방식이 제안되었습니다. 또한, 모델이 학습 단계에서 다양한 노이즈 레벨에 대한 복원 능력을 동시에 습득하도록 설계함으로써, 추론 시에 한 번의 전방 패스로 여러 디퓨전 단계의 효과를 모방할 수 있는 방법도 연구되고 있습니다. 이러한 접근법들은 전통적인 디퓨전 기반 텍스트 생성의 계산 복잡성을 크게 낮추면서도, 품질 면에서는 기존 방법과 비슷하거나 더 나은 성능을 보이는 결과를 보여주고 있습니다.

Misinformation detection은 외부 지식의 통합으로부터 크게 이익을 얻을 수 있는 중요한 작업이며, 이는 manual fact‑checking과 매우 유사합니다. In this w...

명시적 체인오브생각(예: GRPO)을 위한 강화학습(RL) 기반 사후 학습은 멀티모달 대규모 추론 모델의 추론 능력을 향상시킨다.

대규모 언어 모델(LLMs)은 강력한 일반 추론 및 언어 이해를 보여주지만, 그들의 성능은 엄격한 형태…

대규모 언어 모델(LLM) 에이전트는 교육 개발에 대한 체계적인 접근법인 교육 시스템 설계(ISD)를 자동화하는 데 유망한 잠재력을 보여주었습니다.

Language models는 기술 논문을 요약하고 이론적 개념을 설명하는 등 양자 컴퓨팅 교육 및 연구에 실용적인 도구가 되었습니다.

RAG TREC Instrument for Multilingual Evaluation (RAGTIME) 트랙의 주요 목표는 다국어 소스 문서에서 보고서 생성을 연구하는 것입니다.

주장의 진실성을 검증하려면 일반적으로 textual과 visual evidence를 모두 활용한 공동 multi-modal 추론이 필요하며, 예를 들어 textual caption을 분석하는 것이 포함됩니다.

Large language models (LLMs)은 고위험(high‑stakes) 및 도메인 특화(domain‑specific) 환경에서 질문 응답(question answering) 및 의사결정(decision‑making)을 지원하기 위해 점점 더 많이 사용되고 있습니다. 예를 들어 자연 …