프로그램 합성에서 핵심 과제는 online library learning이다: 미래 작업 수요에 대한 불확실성 하에서 reusable abstractions를 점진적으로 획득하는 것.

대형 언어 모델은 모드 붕괴(mode collapse)를 나타내어, 유효한 솔루션 공간을 탐색하지 못하고 동질적인 출력을 생성합니다. 우리는 QD-LLM이라는 프레임워크를 제시합니다, ...

대규모 언어 모델(LLM) 정렬을 위한 Gradient-based preference optimization 방법은 preference collapse가 발생하여, 좁은 행동 모드로 수렴한다 w...

!pichttps://media2.dev.to/dynamic/image/width=256,height=,fit=scale-down,gravity=auto,format=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Farti...

개요 테스트를 시작한 지 3주가 되었을 때, 한 학습자가 내 AI 튜터가 그녀에게 잘못된 답을 줬다고 말했습니다. 명백히 틀린 것은 아니었지만, 오해를 불러일으킬 정도로 오래된 정보였습니다. 그것이 …

Diffusion 기반 모델은 샘플링을 많은 작은 Gaussian 디노이징 단계로 분해합니다 — 생성이 몇 개의 coar... 로 압축될 때 이 가정은 깨집니다.

비침습 뇌 기록으로부터 상상된 말을 디코딩하는 것은 상상 데이터셋이 부족하고 피험자 간에 시간적으로 정렬하기 어려워 도전적이다.

Conformal prediction (CP)은 distribution‑free 접근법으로, finite‑sample guarantees를 갖는 uncertainty quantification을 제공합니다. 그러나 CP를 graph neural networks에 적용하는 것은…

추론 시간 추론을 확장하기 위한 표준 기법은 Self-Consistency이며, LLM에서 여러 후보 답변을 샘플링하고 가장 흔한 …

기존 Flow Matching (FM) 텍스트‑투‑이미지 모델은 다중 작업 정렬에서 두 가지 중요한 병목 현상을 겪는다: 스칼라 값 보상으로 인해 발생하는 보상 희소성…

우리는 보상을 가중된 검증 가능한 기준으로 분해하고 LLM judge를 사용해 이를 점수화하는 것이 부분‑credit 최적화 신호를 제공한다고 주장한다: 대신 …

Context window 확장은 종종 LLM의 단순한 기능 업그레이드로 간주되지만, 우리는 이것이 다중 에이전트 social dilemmas에서 체계적으로 실패한다는 것을 발견했습니다.

최근 추론 시 학습(inference-time learning)의 발전으로 LLM이 Text-to-SQL 작업에서 추론 능력이 향상되었지만, 현재 솔루션은 여전히 m...에 대해 좋은 성능을 내는 데 어려움을 겪고 있다.

할인된 마코프 결정 과정(MDPs)에서 지수 효용 최적화를 위한 강화 학습(RL)은 원칙적인 가치 기반 알고리즘이 부족합니다. 우리는 ...

최근 바이트 수준 언어 모델(LM)은 서브워드 어휘에 의존하지 않으면서 토큰 수준 모델의 성능과 일치하지만, 그 유용성은 slo...

텍스트-투-이미지 모델이 visual fidelity에서 큰 진전을 이루었지만, complex visual intents를 충실히 구현하는 것은 여전히 어려운 과제이다. 많은 요구사항이…

사이트 특화 전파 모델을 구축하려면 일반적으로 상세한 3D 지도에 대한 ray-tracing이나 밀집 측정 캠페인 중 하나가 필요합니다. 두 접근 방식 모두 비용이 많이 듭니다.

Distributional treatment effects는 평균값(means)으로는 보이지 않을 수 있다: 처치는 average outcomes를 유지하면서도 tails, modes, dispersion, 혹은 rare‑event 확률을 변화시킬 수 있다.

Learning-to-defer (L2D)는 어려운/불확실한 사례를 인간에게 전달함으로써 glaucoma screening을 보다 안전하게 만들 수 있지만, 기존의 공식들은 expert availability를 간과한다.

Spiking Neural Networks (SNNs)는 기존의 Artificial Neural Networks (ANNs)에 대한 생물학적으로 타당하고 에너지 효율적인 대안으로 제안되었습니다.

Mechanistic interpretability 논문들은 점점 인과적 어휘를 사용하고 있다: circuits, mediators, causal abstraction, monosemanticity. 이러한 주장들은 명시적인 i...

!Learning AI Out Loud — 전체 시리즈 인덱스 커버 이미지 https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=auto,format=auto/https%3A%2...

툴을 호출하는 에이전트가 잘못된 툴을 선택하면, 실패는 실행될 때까지 보이지 않는다: 이메일이 전송되고, 회의가 놓치게 된다. Probing 12 instruction-t

성능 평가는 머신 러닝(ML) 모델의 품질을 평가하고 배포 결정을 안내하는 데 필수적입니다. 연합 학습(FL)에서는 ...

분산 머신러닝은 종종 신뢰할 수 없는 워커 노드에 그래디언트 평가와 같은 계산을 외주하는 데 의존합니다. 기존의 강인한 집계 방법은...

뇌전도(EEG)는 뇌-컴퓨터 인터페이스와 임상 신경과학의 핵심이지만, 딥러닝 모델은 일반적으로 훈련되고 평가됩니다.

우리는 정확한 의미에서, 광범위한 클래스의 피드포워드 신경망이 PAC 모델에서 학습한다(유한 샘플 복잡도를 가진다)는 것을 보여준다: 모든 고정된 유한 피드포워드 신경망…

현대 Mixture-of-Experts (MoE) 아키텍처는 전문가 용량을 엄격한 레이어별 규칙을 통해 할당한다: 각 transformer 레이어는 별개의 전문가 집합을 가진다. 이 c...

대형 언어 모델(LLMs)은 과학 및 수학 문제를 해결하는 데 강력한 능력을 보여주지만, 유효하고 도전적인 …

쌍별 인간 피드백을 통한 LLM 순위 매기기는 창의적 글쓰기와 문제 해결과 같은 개방형 작업에 대한 현재 리더보드의 기반이 됩니다. 우리는 약 89K comp...

Optimizers는 대규모 언어 모델(LLMs)을 학습할 때 사전 학습(pretraining) 및 미세 조정(finetuning) 단계 모두에서 중요한 역할을 합니다. 본 논문에서는 관찰을 제시합니다.

많은 배포에서는 관련 언어, 분야, 혹은 규제 체계에 대한 라벨이 붙은 benchmark가 존재하기 전에 후보 candidate language model들의 안전성을 비교해야 합니다. 우리는...

우리는 AI co-mathematician을 소개합니다, 이는 수학자들이 AI agents를 인터랙티브하게 활용하여 open-ended research를 수행할 수 있는 워크벤치입니다. AI co-mathematician ...

Retrieval-augmented agents는 대규모 조직 지식 베이스에 대한 인터페이스로 점점 더 많이 사용되고 있지만, 대부분은 여전히 retrieval을 블랙 박스로 취급합니다: they issue exp...

Venn‑Abers predictors는 유효성의 매력적인 특성을 갖는 확률적 예측기이지만, 주요 제한점은 오직 t…에만 적용 가능하다는 것이다.

형광 단백질 quantum yield (QY)는 서열 정체성만이 아니라 성숙한 chromophore와 그 three-dimensional microenvironment에 의해 결정됩니다. Pro...

멀티모달 도메인 일반화(MMDG)가 모델 견고성을 향상시키기 위해 점점 인기를 얻고 있음에도 불구하고, 보고된 성능 향상이 실제로 ...

Large language models (LLMs)은 점점 더 인터랙티브 에이전트로 사용되고 있지만, 장기 의사결정을 위해 이를 최적화하는 것은 현재… 때문에 여전히 어렵다.

세라믹 유약을 개발하는 것은 복잡한 화학 때문에 비용이 많이 들고 시간도 많이 소요되는 시행착오 과정이며, 이는 독립 아티스트에게 큰 부담을 줍니다. ...

우리는 Recursive Agent Optimization (RAO)이라는 강화 학습 접근법을 도입한다. 이는 재귀 에이전트(recursive agents)를 훈련하기 위한 방법으로, 재귀 에이전트는 하위 작업을 spawn하고 delegate할 수 있다.

대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)은 복잡한 협업 작업을 해결하는 데 가능성을 보여주었으며, 여기서 에이전트는 일반적으로 조정됩니다.

Sparse Autoencoders (SAEs)는 메커니즘 해석에서 중요한 도구가 되었으며, Large Language Models (LLMs)에서 내부 표현을 분석하는 데 도움을 줍니다.

Contrastive language-image pretraining (CLIP)은 두 가지 구조적 약점이 있다: 대칭적인 InfoNCE loss는 일치하지 않는 쌍들 사이의 상대적 순서를 무시한다...

사물인터넷(IoT) 및 산업용 사물인터넷(IIoT)의 급속한 확장은 대규모이면서 이질적인 공격 표면을 만들어내어 전통적인 …에 도전한다.

대규모 언어 모델은 autoregressive paradigm 하에서 눈부신 성공을 거두었지만, 고품질 텍스트 생성이 고정된 left‑to‑right 흐름에 얽매일 필요는 없습니다.

Large Language Model (LLM) 에이전트는 느슨한 사양 하에서 자율 코드 생성에서 강력한 성능을 보여줍니다. 그러나 프로덕션 급 소프트웨어는…

Large language model systems은 추론, tool use, memory, iterative refinement를 교차시키는 agentic workflows로 점점 더 많이 활용되고 있습니다. 이러한 시스템은...

많은 실제 최적화 문제는 고도로 결합된 여러 하위 문제들로 구성되어 있으며, 이들의 해결책을 조정하여 전체 성능을 높여야 합니다. H...