3주 전 · ai

[Paper] LLM이 자신의 실패를 예측할 수 있을까? 내부 회로를 통한 자기 인식

Large language models (LLMs)는 유창하고 복잡한 출력을 생성하지만, 자신의 실수와 hallucinations를 인식하지 못하는 경우가 많다. 기존 접근 방식은 보통…

3주 전 · ai

[Paper] Gold-Standard 품질 메트릭을 활용한 ML 학습 데이터 개선

핸드 태깅된 훈련 데이터는 많은 머신러닝 작업에 필수적입니다. 그러나 훈련 데이터 품질 관리에 대해서는 문헌에서 거의 주목받지 못했습니다, d...

3주 전 · ai

[Paper] Performative Policy Gradient: Performative Reinforcement Learning에서의 최적성

배포 후 머신러닝 알고리즘은 종종 자신이 작동하는 환경에 영향을 미치며, 따라서 표준 강화학습이 가정하는 기본 역학을 변화시킵니다.

3주 전 · ai

[Paper] 빠르게 실패하고 크게 승리하라: Diffusion LLMs를 통한 Speculative Decoding에서 초안 전략 재고

Diffusion Large Language Models (dLLMs)는 빠르고 병렬적인 토큰 생성을 제공하지만, 단독으로 사용할 경우 효율성과 품질 사이의 내재된 트레이드오프에 시달립니다.

3주 전 · ai

[Paper] KL‑가이드 레이어 선택을 통한 하이브리드 어텐션 모델 디스틸링

사전 학습된 softmax attention Transformers를 softmax와 linear attention 레이어를 교차 배치하는 보다 효율적인 하이브리드 아키텍처로 증류하는 것은 유망한…

3주 전 · ai

[Paper] LEAD: End-to-End 운전에서 학습자‑전문가 비대칭 최소화

시뮬레이터는 사실상 무제한에 가까운 주행 데이터를 생성할 수 있지만, 시뮬레이션에서의 imitation learning 정책은 여전히 견고한 closed-loop performance를 달성하는 데 어려움을 겪는다.

3주 전 · ai

[Paper] Shallow Neural Networks가 Learnable Channel Attention을 통해 Low‑Degree Spherical Polynomials를 학습한다

우리는 차수 ℓ₀ = Θ(1) ≥ 1인 저차원 구면 다항식을 ℝ^d의 단위 구면 위에서 학습하는 문제를 연구한다. 이를 위해 과다 매개변수화된 모델을 훈련한다.

3주 전 · ai

[Paper] FlashVLM: 텍스트 가이드 시각 토큰 선택 for 대규모 멀티모달 모델

대규모 비전-언어 모델(VLM)은 일반적으로 이미지 또는 비디오 프레임당 수백에서 수천 개의 visual tokens를 처리하며, 이로 인해 제곱 규모의 attention 비용이 발생하고 ...

3주 전 · ai

[Paper] 4D에서 추론 학습: Vision Language Models를 위한 동적 공간 이해

Vision-language models (VLM)은 일반적인 이해에 뛰어나지만 동적 공간 추론(DSR), 즉 객체의 변화를 추론하는 데는 약합니다.

3주 전 · ai

[Paper] 멀티모달 교사 감정 분석의 진보: 대규모 T-MED 데이터셋 및 효과적인 AAM-TSA 모델

교사의 감정 상태는 교육 현장에서 중요하며, teaching efficacy, student engagement, learning achievements에 깊은 영향을 미칩니다. 그러나...

3주 전 · ai

[Paper] Step-DeepResearch 기술 보고서

LLM이 자율 에이전트로 전환함에 따라 Deep Research가 핵심 지표로 부상했습니다. 그러나 BrowseComp와 같은 기존 학술 벤치마크는 종종 …

3주 전 · devops

[Paper] WOC: 이중 경로 가중 객체 합의 효율화

현대 분산 시스템은 중요한 과제에 직면해 있습니다: 기존 합의 프로토콜은 노드 이질성 또는 워크로드 독립성 중 하나만 최적화하고, 두 가지를 모두 최적화하지는 못합니다.