3주 전 · ai

[Paper] Saddle-to-Saddle Dynamics가 신경망 아키텍처 전반에 걸친 Simplicity Bias를 설명한다

Neural networks가 gradient descent로 훈련될 때, 시간에 따라 복잡도가 증가하는 해결책을 학습하는 경우가 많으며, 이는 simplicity bias라고 알려진 현상이다. Despite being wid...

3주 전 · ai

[Paper] Video Diffusion Transformers 재활용을 통한 견고한 포인트 트래킹

포인트 트래킹은 비디오 프레임 간에 대응되는 포인트를 위치 지정하는 것을 목표로 하며, 4D 재구성, 로보틱스 및 비디오 편집을 위한 기본 작업이다. Exis...

3주 전 · ai

[Paper] Autoregressive 모델에서 출현하는 시간 추상화가 Hierarchical Reinforcement Learning을 가능하게 한다

다음 토큰 예측을 사전 학습하고 강화 학습(RL)으로 미세 조정된 대규모 자동회귀 모델은 많은 분야에서 전례 없는 성공을 거두었습니다.

3주 전 · ai

[Paper] MoE-DiffuSeq: Sparse Attention 및 Mixture of Experts를 활용한 Long-Document Diffusion 모델 강화

우리는 MoE‑DiffuSeq를 제시한다. 이는 mixture of experts 기반 프레임워크로, 긴 문서 생성에서 diffusion 모델을 향상시키기 위한 것이다. 기존 diffusion 기반 텍스트 생성…

3주 전 · ai

[Paper] Cube Bench: MLLMs의 공간 시각 추론을 위한 벤치마크

우리는 Cube Bench를 소개합니다. 이는 Rubik's-cube 벤치마크로, 멀티모달 대형 언어 모델(MLLMs)의 공간 및 순차적 추론을 평가하기 위해 설계되었습니다. 이 벤치마크는 ...

3주 전 · ai

[Paper] High-Fidelity Digital Models와 Reinforcement Learning을 활용한 Mission Engineering: Perfect Information 하의 Aerial Firefighting 사례 연구

시스템 엔지니어링(SE) 목표가 단일 시스템의 설계 및 운영에서 복잡한 System of Systems(SoS)로 진화함에 따라, 미션 엔지니어링 분야는…

3주 전 · ai

[Paper] 자동화된 stereotactic radiosurgery 계획을 위한 human-in-the-loop 추론 large language model 에이전트

Stereotactic radiosurgery (SRS)는 중요한 구조물 주변에 정밀한 dose shaping을 요구하지만, black-box AI 시스템은 불투명성 때문에 임상 채택이 제한적이다 ...

3주 전 · ai

[Paper] Relu와 softplus 신경망을 제로섬 턴제 게임으로

우리는 ReLU 신경망의 출력이 제로섬, 턴제, 스톱핑 게임의 값으로 해석될 수 있음을 보여준다. 우리는 이를 ReLU net game이라고 부른다. …

3주 전 · ai

[Paper] LLM이 자신의 실패를 예측할 수 있을까? 내부 회로를 통한 자기 인식

Large language models (LLMs)는 유창하고 복잡한 출력을 생성하지만, 자신의 실수와 hallucinations를 인식하지 못하는 경우가 많다. 기존 접근 방식은 보통…

3주 전 · ai

[Paper] Gold-Standard 품질 메트릭을 활용한 ML 학습 데이터 개선

핸드 태깅된 훈련 데이터는 많은 머신러닝 작업에 필수적입니다. 그러나 훈련 데이터 품질 관리에 대해서는 문헌에서 거의 주목받지 못했습니다, d...

3주 전 · ai

[Paper] Performative Policy Gradient: Performative Reinforcement Learning에서의 최적성

배포 후 머신러닝 알고리즘은 종종 자신이 작동하는 환경에 영향을 미치며, 따라서 표준 강화학습이 가정하는 기본 역학을 변화시킵니다.

3주 전 · ai

[Paper] 빠르게 실패하고 크게 승리하라: Diffusion LLMs를 통한 Speculative Decoding에서 초안 전략 재고

Diffusion Large Language Models (dLLMs)는 빠르고 병렬적인 토큰 생성을 제공하지만, 단독으로 사용할 경우 효율성과 품질 사이의 내재된 트레이드오프에 시달립니다.