[Paper] NCCLZ: 압축 지원 GPU Collectives와 Decoupled Quantization 및 Entropy Coding
Collective communication은 과학 컴퓨팅 및 분산 딥러닝에서 다중 노드 GPU 워크로드의 주요 병목 현상이며, 특히 노드 간 대역폭이 …
Collective communication은 과학 컴퓨팅 및 분산 딥러닝에서 다중 노드 GPU 워크로드의 주요 병목 현상이며, 특히 노드 간 대역폭이 …
연속 함수에 대한 numerical optimization은 기계 설계부터 training에 이르기까지 다양한 과학 및 공학 분야에서 기본적인 과제이다.
Model merging은 대규모 언어 모델(LLMs)을 처음부터 훈련하는 대신 비용 효율적인 대안으로 부상했으며, 연구자들이 사전 학습된 모델을 결합할 수 있게 합니다.
멀티 에이전트 대형 언어 모델(LLM) 시스템을 위한 프롬프트 사양은 데이터 계약과 통합 로직을 많은 상호 의존 파일에 걸쳐 포함하지만, 이는 드물다.
개발자들은 rapid code iteration을 위해 lightweight, terminal-centric workflows에 의존합니다. 그러나 Julia 프로그래밍 언어를 위한 unified environment 내에는 ...
Large Language Models (LLMs)은 실제 GitHub 이슈를 해결하기 위해 점점 더 많이 배치되고 있습니다. 그러나 그 잠재력에도 불구하고, 이러한 모델들의 구체적인 실패 모드…
우리는 그래프 기반 최적화를 제안한다: 실제 최적화 문제의 decision variables, constraints, 그리고 objective coefficients가 ...
Prediction sets는 머신러닝 모델에서 불확실성을 정량화하기 위한 이론적으로 기반된 프레임워크를 제공합니다. 이를 구조화된 생성 작업에 적용하면,…
Cypress와 Playwright와 같은 자동 GUI 테스트 프레임워크는 로케이터를 사용하여 웹 요소를 찾고 상호 작용합니다. 로케이터 브레이크는 구조가...
우리는 Curated Industrial Developer Repository (CIDR)를 소개합니다. 이는 직접 협업을 통해 수집된 실제 소프트웨어 저장소들의 대규모 데이터셋입니다.
동적 링크 실패는 constellations 구조의 연결성 및 기하학적 대칭성을 방해하여 protocol overhead를 증가시키고 효율성을 저하시킵니다...
이 논문은 실험적으로 하네스 엔지니어링 수준이 소형 언어 모델(SLMs, 2‑3B 파라미터)의 운영 성능에 어떻게 영향을 미치는지 분석한다. Th...
대형 언어 모델이 더 긴 컨텍스트로 확장됨에 따라, attention computation 중에 증가하는 KV cache를 로드하는 것이 중요한 bottleneck이 됩니다. Previous work has sh...
예를 들어 인간의 움직임이나 위치를 모니터링하는 것은 사이버-물리 시스템(CPS)에서 안전하고 효율적인 인간-기계 협업을 위해 필수적입니다.
탄력적인 대규모 무선 애드혹 네트워크를 설계할 때 주요 과제 중 하나는 무작위 노드 실패가 기본적인 네트워크 성능에 어떤 영향을 미치는지 이해하는 것이다. ...
Agentic AI 실패는 사후 재구성이 필요합니다: 에이전트가 무엇을 했는지, 누구의 권한으로 했는지, 어떤 정책에 위배되는지, 그리고 어떤 논리에 기반했는지. Cross-regime feasibilit...
Cortical neurons은 복잡하고 multi‑timescale 프로세서로, recurrent circuits에 연결되어 있으며, 엄격한 biological constraints 하에서 오랜 evolutionary pressure에 의해 형성됩니다.
Power capping은 LLM 서빙에서 표준 GPU 에너지 레버이며, 효과가 있는 것으로 보입니다: 처리량이 감소하고, 전력 측정값이 낮아지며, 에너지 예산이 충족됩니다. 우리는 …
컴퓨팅 연속체 전반에 배치된 에이전시 시스템은 클라우드, 엣지, 그리고 간헐적으로 연결되는 도메인 전반에서 효과를 유지할 수 있는 디스커버리 메커니즘이 필요합니다. ...
Spiking neural networks (SNNs)는 시간적으로 풍부한 작업에 대해 저전력 이벤트 기반 계산을 약속하지만, 일반적으로 사용되는 뉴런 모델은 종종 gradient‑based …
LLM inference는 여전히 주로 모델 또는 소프트웨어 문제로 평가됩니다: accuracy, latency, throughput, 그리고 hardware utilization. 이는 불완전합니다. At deployme...
영장류 시각 피질의 공간적 및 기능적 조직은 신경과학에서 근본적인 문제이다. 최근 To…와 같은 계산 프레임워크는 …
Graph processing systems는 복잡한 관계를 가진 large-scale data를 분석하는 데 필수적이지만, 대부분의 기존 frameworks는 statically provisioned cl...
온디스크 그래프 기반 벡터 검색(GVS)은 대규모 벡터 데이터베이스를 높은 재현율로 제공하는 주요 접근 방식이 되었지만, 기존 시스템은 …
우리는 State Twin을 소개합니다: 타입이 지정된, 메모리 내에서 동작하며 재생 가능한 온체인 자동화 시장 메이커(AMM) 풀의 복제본으로, 에이전트 기반 추론을 위한 기반(substrate) 역할을 합니다.
Short-term plasticity (STP)는 생물학적 신경 시스템에서 시간 정보 처리를 위한 기본 메커니즘이지만, neuro...에서 효율적으로 구현하기는 여전히 어렵다.
최근 몇 년간, 인기 있는 다목적 진화 알고리즘(MOEAs)이 다목적(다수 목표) 최적화를 어떻게 수행할 수 있는지에 대한 이론적 이해가 급속히 발전했습니다.
우리는 처음부터 만든 약 150M 파라미터의 widened‑D 기판(D=1536, V=32000; D/V 약 0.048; ‘widened‑1536’…) 위에서 진화적 mixture‑of‑LoRA 시스템을 분해한다.
Diffusion 및 flow-based 모델은 이미지와 비디오와 같은 연속 데이터 생성에 있어 사실상의 표준 접근법이 되었습니다. 그들의 성공은…
최근에는 강화 학습 기반의 사후 훈련 방법들이 특히 Group Relative Policy Optimization (GRPO)에 초점을 맞추어 견고한…
스마트 안경과 같은 웨어러블 디바이스가 Large Multimodal Models (LMMs)를 개인 사용자의 연속적인 1인칭 시각 스트림에 통합함에 따라, 진화…
극단적인 사건과 heavy-tailed 현상을 모델링하는 것은 금융, 기후 과학, safety‑critical 시스템과 같은 분야에서 신뢰할 수 있는 예측 시스템을 구축하는 데 핵심적입니다.
Mixture-of-Experts (MoE)는 computation을 비례적으로 증가시키지 않으면서 model capacity를 확장하지만, 그 방대한 total parameter footprint는 상당한 …
자기 주의(self‑attention) 모듈을 핵심 구성 요소로 하는 트랜스포머는 현대의 대규모 언어 모델 및 파운데이션 모델에서 필수적인 아키텍처가 되었습니다. 이 논문에서는…
대규모 언어 모델 에이전트는 복잡한 작업을 해결하기 위해 외부 스킬에 점점 더 의존하고 있으며, 스킬은 그들의 능력을 확장하는 모듈형 단위로 작동합니다.
최근 3D 생성 모델의 발전으로 이미지‑to‑3D 합성 품질이 급격히 향상되어 고해상도 geometry와 보다 현실적인 appearance를 구현할 수 있게 되었습니다. ...
소프트웨어 개발자는 metrics를 사용하여 code quality와 productivity를 평가하지만, 이러한 관행은 programming education에서는 아직 드물다. 이 프로젝트는…
우리는 유한하고 연결된 그래프 상에서 로봇 집합이 목표 집합으로 이동하도록 하는 익명 다중 에이전트 경로 찾기(MAPF)를 고려한다. 우리는 M...
손글씨 Bangla 복합 문자 인식은 복잡한 문자 구조, 큰 클래스 내 변동성, 그리고 제한된 …
우리는 Shepherd를 소개합니다. 이는 메타‑에이전트 연산을 대상 에이전트에 대한 함수로 형식화하는 함수형 프로그래밍 모델이며, 핵심 연산은 Lean에서 기계화되었습니다.
대형 언어 모델 및 비전-언어 모델은 점점 더 사용자를 대신하여 명령줄 인터페이스(CLI)를 활용하는 에이전트를 구동합니다. 그러나 대부분의 에이전트는...
우리는 전면(all-to-all) 큐비트 연결성을 가진 장치에 대한 Clifford 양자 회로 합성 문제를 고려한다. 우리는 이 작업을 강화 학습(reinforcement learning)으로 접근한다.
이 작업은 제한된 정책 클래스에 사용되는 표준 policy gradient 방법을 재검토한다. 이러한 방법은 suboptimal critical points에 갇히는 것으로 알려져 있다. 우리는 …를 식별한다.
AI 에이전트에 대한 지배적인 패러다임은 에이전트가 계획을 합성하고 사용자 p에 대응하여 몇 초 또는 몇 분 안에 행동을 실행하는 'on-the-fly' 루프이다.
모델 패밀리, 트레이닝 레시피, 그리고 컴퓨트 예산이 점점 표준화됨에 따라, 머신러닝 시스템의 추가적인 향상은 점점 데이터에 의존하게 된다...
이 논문은 사전 학습된 VLA 모델이 성능을 효과적으로 향상시키고 적응 비용을 감소시키는 데 종종 실패한다는 문제를 해결하기 위한 새로운 접근법을 제안한다.
Guardrail Classifiers는 production language models를 유해한 행동으로부터 방어하지만, 테스트에서는 결과가 유망해 보이지만, formal guarant...
Deep research agents, 즉 계획을 세우고, 검색하고, 증거를 평가하며, 장문 보고서를 종합하는 시스템을 훈련시키는 것은 reinforcement learning을 그 …