대규모 언어 모델은 신뢰성이 중요한 환경에 점점 더 많이 배치되고 있지만, 토큰 확률, 엔트로피와 같은 출력 수준의 불확실성 신호는 …

Adapter 기반 방법은 대규모 언어 모델(Large Language Models, LLMs)의 지속적 학습(continual learning, CL)을 위해 순차적으로 저랭크 업데이트를 학습함으로써 비용 효율적인 접근법이 되었다.

대형 언어 모델(LLMs)은 복잡한 작업을 해결하기 위해 점점 더 chain-of-thought (CoT) 추론에 의존하고 있다. 그러나 추론 트레이스가 모두 기여하도록 보장하는 것은…

최근 연구들은 작은 aligned 모델을 proxy 로 사용하여 더 큰 base (unaligned) 모델의 생성을 안내하는 test-time alignment 방법을 제안했습니다. T...

우리는 German sign language (DGS) fairy tales에 대한 sentiment analysis를 위한 dataset과 model을 제시한다. 먼저, 우리는 세 가지 수준의 ...

소프트웨어 개발에서 Large Language Models (LLMs)의 급속한 확산으로 AI가 생성한 코드와 인간이 작성한 코드를 구별하는 것이 중요한 과제가 되었다.

커버 이미지: Understanding Transformers Part 8: Shared Weights in Self-Attention https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=...

인공지능 생성 콘텐츠(AIGC) 도구의 급속한 발전으로 웹페이지 디자인을 위해 이미지, 비디오 및 시각화를 필요에 따라 생성할 수 있게 되었습니다.

LLM-as-judge 프레임워크는 자동 NLG 평가에 점점 더 많이 사용되고 있지만, 개별 인스턴스에 대한 신뢰성은 아직 충분히 이해되지 않고 있습니다. 우리는 두 갈래 접근법을 제시합니다.

LLM 에이전트가 다른 목표 추구 에이전트와 효과적이고 안전하게 상호작용하는 것이 점점 더 중요해지고 있지만, 최근 연구들은 반대 추세를 보고하고 있다: LLMs ...

Speculative decoding (SD)은 가벼운 초안 모델이 더 강력한 타깃 모델이 검증하는 출력을 제안하도록 함으로써 대형 언어 모델 추론을 가속화합니다.

LLM-as-a-judge 패러다임은 자동화된 AI 평가 파이프라인의 운영 백본이 되었지만, 검증되지 않은 가정에 기반하고 있습니다: 즉, 심사자들이 평가한다는…

유머는 추론을 올바르게 하는 것이 정답을 맞추는 것만큼 중요한 몇 안 되는 인지 작업 중 하나입니다. 최근 연구에서는 유머를 평가…

Machine learning이 의료와 같은 고위험 분야에서는 강력한 예측 성능뿐만 아니라 신뢰할 수 있는 불확실성 정량화(UQ)를 필요로 한다...

그룹 수준 사용자 행동을 시뮬레이션하면 비용이 많이 드는 온라인 실험 없이도 상인 전략에 대한 확장 가능한 반사실 평가가 가능해집니다. 그러나, building a tr...

Sparse attention은 변환기(transformers)의 2차 비용을 완화하는 방법으로 제안되었으며, 이는 장기 컨텍스트 학습에서의 핵심 병목 현상입니다. 유망한 방향은 …

LLMs는 기계 번역에 능숙함을 입증하고 있지만, 그들의 생성적 특성 때문에 때때로 다양한 방식으로 overgenerate할 수 있습니다. 이러한 overgeneration…

이 베타 기술 보고서는 재사용 가능한 경험을 어떻게 표현해야 효과적인 테스트 시점 제어와 반복을 위한 기반으로 기능할 수 있는지를 묻는다.

3차원 장면에 대한 Spatial reasoning은 embodied intelligence의 핵심 역량이지만, 지속적인 model improvement는 여전히 computational cost 때문에 병목 현상이 발생한다.

강화 학습과 검증 가능한 보상(RLVR)은 조건부 분포 P(y|x)를 최적화함으로써 LLM 추론을 크게 향상시키지만, 그 잠재력은…

LLM을 평가하는 것은 어려운 일이며, 벤치마크 점수는 모델의 실제 활용도를 포착하지 못하는 경우가 많다. 대신 사용자들은 종종 “vibe‑testing”에 의존한다: 비공식적인…

수사적 질문은 정보를 얻기 위해서가 아니라 설득하거나 입장을 표시하기 위해 제기됩니다. 대규모 언어 모델이 이를 내부적으로 어떻게 표현하는지는 아직 명확하지 않습니다. 우리는...

LLM 추론 트레이스는 복잡한 결함을 겪는다 — *Step Internal Flaws* (논리적 오류, 환각 등)와 *Step-wise Flaws* (과도한 사고, 부족한 사고…)

Large Language Models (LLMs)가 AI 연구 에이전트에게 고립된 과학 작업을 수행할 수 있는 힘을 부여했지만, LLM과 같은 복잡하고 실제적인 워크플로우를 자동화하는 데는…

GUI grounding은 자연어 쿼리를 제공받아 스크린샷에서 인터페이스 요소를 위치 지정하는 작업으로, 작은 아이콘과 밀집된 레이아웃에서는 여전히 어려움을 겪는다. Test-t...

대형 언어 모델(LLMs)은 이제 매우 유창하고 인간과 같은 텍스트를 생성할 수 있습니다. 이들은 많은 응용 프로그램을 가능하게 하지만, 대규모 …

언어 모델의 사후 적응은 일반적으로 parameter updates 또는 fine-tuning, parameter-efficient adaptation과 같은 입력 기반 방법을 통해 이루어집니다.

자동화된 코드 생성은 소프트웨어 엔지니어링에서 지속적인 과제로 남아 있으며, 기존의 multi-agent frameworks는 종종 정적 planning에 의해 제한됩니다.

대형 언어 모델(LLMs)과 비전-언어 모델(VLMs)은 레이아웃 및 씬 그래프와 같은 중간 구조를 통해 실내 장면을 점점 더 생성하고 있다.

자율 AI 연구는 빠르게 발전했지만, 장기적인 ML 연구 엔지니어링은 여전히 어렵습니다: 에이전트는 작업 이해 전반에 걸쳐 일관된 진전을 지속해야 합니다…

On-policy distillation (OPD)은 대형 언어 모델의 사후 훈련에서 핵심 기술이 되었지만, 그 훈련 역학은 아직 충분히 이해되지 않는다. This...

Instruction-tuned large language models는 유용하고 구조화된 응답을 생성하지만, 사소하게 제한될 때 이 유용성이 얼마나 견고한가? 우리는 simpl...

대형 언어 모델(LLMs)은 공공 정책 분야를 포함한 실제 의사결정에 점점 더 통합되고 있습니다. 그러나 그들의 이해 능력은…

Optical character recognition (OCR)은 비전‑언어 모델의 부상과 함께 빠르게 발전했지만, 평가는 여전히 소수의 클러스터에 집중되어 왔습니다.

Speech-to-speech language models는 최근 대화형 AI의 자연스러움을 향상시키기 위해 등장했습니다. 특히, full-duplex models는 …

Metonymy와 metaphor는 자연어에서 자주 동시에 발생하지만, computational 연구는 이를 주로 별도로 연구해 왔습니다. 우리는 변환하는 framework를 소개합니다.

Multilingual benchmarks는 frontier models의 개발을 안내합니다. 그러나 frontier models가 보고하는 multilingual evaluations는 popular rea와 유사하게 구조화되어 있습니다.

대형 언어 모델(LLM)은 자연어로부터 코드를 생성할 수 있지만, 의도된 프로그램 동작을 얼마나 잘 포착하는지는 아직 명확하지 않다. Executable…

Big Five와 같은 심리학적 구성요소를 사용하여, 대형 언어 모델(LLMs)은 특정 성격 프로파일을 모방하고 사용자의 성격을 예측할 수 있다. Wh...

언어 변화는 사회적 과정을 반영하고 형성하며, 기본 개념들의 semantic evolution은 역사적 및 사회적 과정의 측정 가능한 흔적을 제공한다.

Vision-language models (VLMs)은 여전히 공간 이해와 시점 인식과 같은 시각 인지 작업에서 어려움을 겪고 있다. 가능한 한 가지 원인…

Large Vision Language Models (LVLMs)는 강력한 멀티모달 추론 능력을 달성하지만, 종종 높은 확신을 가지고 hallucination과 잘못된 응답을 보입니다, ...

노름, 형식 이론 언어학자와 클로드, 계산 언어 과학자는 현대 언어 모델이 … 할 수 있는지에 대해 즐겁게 토론한다.

Multimodal Mixture-of-Experts (MoE) 모델은 vision-language 작업에서 눈에 띄는 성능을 달성했습니다. 그러나 우리는 Seei…라는 당혹스러운 현상을 확인했습니다.

Text-to-Audio-Video (T2AV) 생성은 미디어 제작의 핵심 인터페이스로 빠르게 자리 잡고 있지만, 그 평가 방법은 여전히 파편화되어 있습니다. 기존 벤치마크는 …

Group Relative Policy Optimization (GRPO)은 최근 멀티모달 대형 언어 모델(Multimodal Large Language Models) 분야의 발전을 이끄는 사실상의 강화 학습(Reinforcement Learning, RL) 목표로 부상하고 있습니다.

On-policy distillation (OPD)은 강력한 교사로부터의 감독을 활용하면서 학생 모델을 자체 유도 분포 하에서 학습시킵니다. 우리는 실패를 식별한다…

오늘날의 large language models (LLMs)은 reinforcement learning과 같은 방법을 통해 사용자 선호에 맞추도록 훈련됩니다. 그러나 모델들은 점점 d...