[Paper] Decentralized Learning에서 Non‑IID Data에 대한 Dynamic Topology Optimization
Decentralized learning (DL)은 중앙 조정 없이 노드 집합이 협업적으로 모델을 학습할 수 있게 하여 프라이버시와 확장성 측면에서 이점을 제공합니다....
3058 posts from this source
Decentralized learning (DL)은 중앙 조정 없이 노드 집합이 협업적으로 모델을 학습할 수 있게 하여 프라이버시와 확장성 측면에서 이점을 제공합니다....
이 논문은 많은 네트워크 및 분산 시스템에서 발생하는 중요한 rate allocation 문제를 연구한다: steady-state traffic rate allocation from multipl...
Distributed Stream Processing Systems (DSPSs)는 ByteDance에서 실시간 처리 및 분석의 핵심을 이루며, Apache Flink가 가장 큰 … 중 하나를 구동합니다.
대규모 언어 모델(LLM) 기반 알고리즘 발견은 프로그램을 대상으로 하는 반복적인 블랙박스 최적화 과정으로, 목표 작업을 근사적으로 해결하기 위해…
동적 task graphs 스케줄링은 이전 작업 할당을 재검토하지 않고 다루어지는 경우가 많으며, 주된 초점은 makespan 최소화에 있습니다. 우리는 제어된…
Advanced Persistent Threats (APTs)는 정교하고 장기적인 사이버 공격으로, 은밀하게 작동하고 종종 n...에 섞여 들어가 탐지하기 어렵습니다.
매우 불균형한 데이터셋에서 희귀하고 다양한 이상 현상을 탐지하는 것은—예를 들어 사이버 보안 분야의 Advanced Persistent Threats (APTs)—여전히 근본적인 과제이다.
직접 정렬 방법은 대형 언어 모델(LLMs)을 인간 선호와 맞추는 데 점점 더 많이 사용되고 있습니다. 그러나 많은 실제 정렬 문제는…
임상 뇌-텍스트 인터페이스는 광범위한 훈련 녹음을 제공할 수 없는 마비 환자를 위해 설계되었습니다. 사전 훈련은 데이터 효율적인 생성...
Pixel diffusion은 이미지를 픽셀 공간에서 직접, 엔드‑투‑엔드 방식으로 생성하여, 두 단계 잠재 모델에서 VAE가 도입하는 아티팩트와 병목 현상을 피합니다.
우리는 RLAnything이라는 강화학습 프레임워크를 제안한다. 이 프레임워크는 폐쇄‑루프 최적화를 통해 환경, 정책 및 보상 모델을 동적으로 형성하고 이를 증폭한다.
LLM 기반 딥 리서치 에이전트는 대부분 ReAct 프레임워크를 기반으로 구축됩니다. 이러한 선형 설계는 이전 상태로 다시 돌아가거나 대안적인…
LLM 사후 훈련을 위한 RL의 성공은 지나치게 정보가 부족한 출처, 즉 롤아웃당 하나의 비트 정보(이진 보상 또는 선호)에서 비롯됩니다.
Likelihood-based policy gradient methods는 보상으로부터 로봇 제어 정책을 학습하는 데 지배적인 접근 방식입니다. 이러한 방법들은 미분 가능한 action에 의존합니다.
대형 언어 모델(Large language models, LLMs)은 단계별 사고 흐름(chain-of-thought, CoT) 추론을 통해 강력한 추론 능력을 입증했습니다. 그럼에도 불구하고, 한계에서는 …
대부분의 Large Language Model (LLM) 에이전트 메모리 시스템은 메모리를 추출하기 위해 소수의 정적이고 hand-designed operations에 의존합니다. 이러한 고정된 절차는 hard‑…
휴머노이드 로봇이 민첩하고 적응형 인터랙티브 작업을 수행하도록 하는 것은 로봇공학에서 오래전부터 핵심 과제였습니다. 현재 접근 방식은 ...
Progressive Learning (PL)은 모델 규모를 점진적으로 늘림으로써 사전 학습(pre‑training) 계산 오버헤드를 감소시킵니다. 기존 연구에서는 깊이 확장(depth expansion)을 광범위하게 탐구했지만…
딥러닝 기반 자동 세분화는 방사선 치료에서 점점 더 많이 사용되고 있지만, 기존 모델은 종종 해부학적으로 타당하지 않은 거짓 양성 결과를 생성하거나 h...
Autoregressive 대형 언어 모델(LLMs)은 많은 복잡한 작업에서 눈에 띄는 성공을 거두었지만, 여전히 매우 간단한 논리적 추론에서 실패할 수 있습니다 suc...
대규모 언어 모델(LLMs)의 급속한 발전은 이러한 모델이 어떤 형태의 의식을 가지고 있는지에 대한 질문을 제기했습니다. 이 문제에 접근하기 위해, ...
프론티어 모델은 시각 정보를 단순히 받아들이는 멀티모달 대형 언어 모델(MLLMs)에서 통합 멀티모달 모델(UMMs)으로 전환하고 있다.
Activation decomposition methods in language models는 개념이 activation space에서 구현되는 방식에 대한 geometric assumptions와 밀접하게 결합되어 있습니다. Existing appr...
대형 언어 모델이 자율 에이전트로 전환함에 따라, 사용자 입력은 종종 협력적 가정을 위반합니다(예: 암시적 의도, 누락된 매개변수, fal...).