1개월 전 · ai

[Paper] Nemotron-Cascade: 범용 추론 모델을 위한 연쇄 강화 학습 확장

강화 학습(RL)을 사용하여 범용 추론 모델을 구축하는 것은 도메인 간 이질성이 크게 존재하며, 추론에서의 큰 변동인 inferenc...을 포함합니다.

1개월 전 · ai

[Paper] DA-SSL: self-supervised 도메인 어댑터를 활용한 turbt 조직병리 슬라이드에서 foundational models 활용

최근 조직병리학에서 딥러닝 프레임워크, 특히 다중 인스턴스 학습(MIL)과 병리학 기본 모델(PFMs)을 결합한 것이 ...

1개월 전 · ai

[Paper] 텍스트 그라디언트는 자동 프롬프트 최적화를 위한 결함 있는 은유이다

잘 설계된 prompt는 large language models의 성능을 향상시킬 수 있습니다; 자동 prompt 최적화 기술은 수동 작업 없이 성능을 향상시키는 것을 목표로 합니다.

1개월 전 · devops

[Paper] astroCAMP: 지속 가능한 SKA-Scale 라디오 이미징을 위한 커뮤니티 벤치마크 및 공동 설계 프레임워크

Square Kilometre Array (SKA) 프로젝트는 세계에서 가장 큰 연속 과학 데이터 시스템 중 하나를 운영하여, 엄격한 p... 하에 페타스케일 이미징을 지속할 것입니다.

1개월 전 · ai

[Paper] ReFusion: 병렬 자동회귀 디코딩을 갖춘 Diffusion 대형 언어 모델

Autoregressive models (ARMs)은 느린 순차 추론으로 인해 제한됩니다. Masked diffusion models (MDMs)은 병렬적인 대안을 제공하지만, 그들은 crit…에 고통받습니다.

1개월 전 · ai

[Paper] DP-CSGP: 차등 프라이버시 확률적 그래디언트 푸시와 압축 통신

본 논문에서는 분산 학습을 위한 차등 프라이버시 보장 확률적 그래디언트 푸시(Differentially Private Stochastic Gradient Push)와 압축 통신(Compressed communication)을 결합한 DP‑CSGP를 제안한다.

1개월 전 · ai

[Paper] 재현 및 분석: Denoising Language Models for Speech Recognition

Denoising language models (DLMs)는 자동 음성 인식 (ASR)을 위한 전통적인 language models (LMs)의 강력한 대안으로 제안되었습니다, motiv…

1개월 전 · devops

[Paper] Janus: 확장 가능한 MoE 추론을 위해 Attention과 Experts를 분리

대규모 Mixture-of-Experts (MoE) 모델 추론은 높은 자원 요구와 동적 워크로드 때문에 어려운 과제입니다. 기존 솔루션은 종종 전체 모델을 배포합니다.

1개월 전 · software

[Paper] 얼마나 낮게 갈 수 있을까? Data-Light SE 챌린지

소프트웨어 엔지니어링(SE) 연구의 대부분은 진보가 방대한 데이터셋과 CPU‑집약적인 옵티마이저에 의존한다고 가정합니다. 그러나 이 가정이 과연 엄밀했는가…

1개월 전 · ai

[Paper] 미세 조정된 LLM 기반 코드 마이그레이션 프레임워크

이 연구는 자동화된 코드베이스 마이그레이션 분야에서 연구 및 실험 검증의 결과를 제시하며, ...

1개월 전 · ai

[Paper] SIGMA: AI 기반 초기 단계 하드웨어용 학습 스택

점점 다양한 AI 가속기가 대규모 학습을 위해 고려되고 있습니다. 그러나 초기 단계 AI 가속기에서 대규모 학습을 가능하게 하는 데는 …

1개월 전 · software

[Paper] 소프트웨어 관련 배출량 및 공동 책임 시스템 매핑

전 세계 기후는 빠르고 전례 없는 온난화 추세를 겪고 있습니다. ICT 부문은 전 세계 온실가스 배출의 눈에 띄는 기여자이며, 그…