· ai
[Paper] SpatialTree: MLLM에서 공간 능력이 어떻게 확장되는가
인지 과학은 공간 능력이 인식에서 추론 및 상호작용으로 점진적으로 발달한다고 제안합니다. 그러나 멀티모달 LLMs(MLLMs)에서는 이 계층…
-
- · ai
[Paper] 클로즈드 루프 월드 모델링을 통한 비디오 아바타의 액티브 인텔리전스
현재 video avatar generation 방법은 identity preservation과 motion alignment에서 뛰어나지만, genuine agency가 부족하고 장기적인 목표를 자율적으로 추구할 수 없습니다.
- · ai
[Paper] 대형 언어 모델을 효율적인 Dense Retriever로 만들기
최근 연구에 따르면 대형 언어 모델(LLMs)을 직접 파인튜닝하여 dense retrieval을 수행하면 강력한 성능을 얻을 수 있지만, 그들의 상당한 파라미터 수...
- · ai
[Paper] FedPOD: 연합 학습을 위한 배포 가능한 학습 단위
본 논문은 연합 학습에서 학습 효율성과 통신 비용을 최적화하기 위해 FedPOD (Proportionally Orchestrated Derivative)를 제안한다.
- · ai
[Paper] Saddle-to-Saddle Dynamics가 신경망 아키텍처 전반에 걸친 Simplicity Bias를 설명한다
Neural networks가 gradient descent로 훈련될 때, 시간에 따라 복잡도가 증가하는 해결책을 학습하는 경우가 많으며, 이는 simplicity bias라고 알려진 현상이다. Despite being wid...
- · ai
[Paper] Video Diffusion Transformers 재활용을 통한 견고한 포인트 트래킹
포인트 트래킹은 비디오 프레임 간에 대응되는 포인트를 위치 지정하는 것을 목표로 하며, 4D 재구성, 로보틱스 및 비디오 편집을 위한 기본 작업이다. Exis...
- · ai
[Paper] Autoregressive 모델에서 출현하는 시간 추상화가 Hierarchical Reinforcement Learning을 가능하게 한다
다음 토큰 예측을 사전 학습하고 강화 학습(RL)으로 미세 조정된 대규모 자동회귀 모델은 많은 분야에서 전례 없는 성공을 거두었습니다.
- · ai
[Paper] MoE-DiffuSeq: Sparse Attention 및 Mixture of Experts를 활용한 Long-Document Diffusion 모델 강화
우리는 MoE‑DiffuSeq를 제시한다. 이는 mixture of experts 기반 프레임워크로, 긴 문서 생성에서 diffusion 모델을 향상시키기 위한 것이다. 기존 diffusion 기반 텍스트 생성…
- · ai
[Paper] Cube Bench: MLLMs의 공간 시각 추론을 위한 벤치마크
우리는 Cube Bench를 소개합니다. 이는 Rubik's-cube 벤치마크로, 멀티모달 대형 언어 모델(MLLMs)의 공간 및 순차적 추론을 평가하기 위해 설계되었습니다. 이 벤치마크는 ...
- · ai
[Paper] High-Fidelity Digital Models와 Reinforcement Learning을 활용한 Mission Engineering: Perfect Information 하의 Aerial Firefighting 사례 연구
시스템 엔지니어링(SE) 목표가 단일 시스템의 설계 및 운영에서 복잡한 System of Systems(SoS)로 진화함에 따라, 미션 엔지니어링 분야는…
- · ai
[Paper] 자동화된 stereotactic radiosurgery 계획을 위한 human-in-the-loop 추론 large language model 에이전트
Stereotactic radiosurgery (SRS)는 중요한 구조물 주변에 정밀한 dose shaping을 요구하지만, black-box AI 시스템은 불투명성 때문에 임상 채택이 제한적이다 ...
- · ai
[Paper] Relu와 softplus 신경망을 제로섬 턴제 게임으로
우리는 ReLU 신경망의 출력이 제로섬, 턴제, 스톱핑 게임의 값으로 해석될 수 있음을 보여준다. 우리는 이를 ReLU net game이라고 부른다. …