3주 전 · ai

[Paper] 깨진 단어, 깨진 성능: 토큰화가 LLMs 성능에 미치는 영향

Tokenization은 모든 Large Language Model (LLM)을 훈련할 때 첫 번째 단계이며, 텍스트를 모델의 고정된 vocabulary에 따라 토큰 시퀀스로 분할합니다.

3주 전 · ai

[Paper] SWE-RM: 소프트웨어 엔지니어링 에이전트를 위한 실행 없는 피드백

실행 기반 피드백인 unit testing은 test-time scaling (TTS) 및 reinforcement learning (RL)을 통한 코딩 에이전트 개발에 널리 사용됩니다. T...

3주 전 · ai

[Paper] 검증에서 Sparse Computation을 활용한 Speculative Decoding 가속

Speculative decoding은 여러 초안 토큰을 병렬로 검증함으로써 autoregressive language model 추론을 가속화합니다. 그러나 검증 단계는 종종 b...

3주 전 · ai

[Paper] Attention 기반 모델 및 LLM 프롬프트를 통한 설명 가능한 법령 예측

본 논문에서는 주어진 사건 설명에 대해 관련 법령의 부분집합을 예측하는 자동 statute prediction 문제를 탐구한다. Her...

3주 전 · ai

[2025 가이드] AI 기반 광고 솔루션 for 마케팅 자동화

Creative Fatigue – 2025년 Ad Performance의 조용한 킬러 수동 편집자들이 주당 3개의 영상을 제작하는 데 어려움을 겪는 동안, top‑performance marketers는 …

3주 전 · ai

머신러닝 “Advent Calendar” 24일차: Excel에서 텍스트를 위한 Transformers

Transformers가 self‑attention을 사용하여 정적 단어 임베딩을 맥락적 표현으로 변환하는 과정을 직관적이고 단계별로 살펴보며, 간단한 예시를 통해 설명합니다.

3주 전 · ai

[Paper] 불확실성 정량화를 통한 Masked Diffusion Models의 디코딩 경로 최적화

Masked Diffusion Models (MDMs)은 유연하고 비자기회귀적인 생성 방식을 제공하지만, 이러한 자유는 도전을 안겨줍니다: 최종 출력 품질이 매우 민감하게 …

3주 전 · ai

[Paper] C2LLM 기술 보고서: Adaptive Cross-Attention Pooling을 통한 코드 검색의 새로운 영역

우리는 C2LLM - Contrastive Code Large Language Models를 소개합니다. 이는 0.5B와 7B 규모의 코드 임베딩 모델 패밀리이며, Qwen-2.5-Coder 백본을 기반으로 합니다. ...

3주 전 · ai

[Paper] 당신의 추론 벤치마크는 추론을 테스트하지 않을 수도 있다: 추상 추론 벤치마크에서 인식 병목 현상 밝히기

Abstraction and Reasoning Corpus (ARC)와 ARC-AGI와 같은 추론 벤치마크는 인공지능의 발전을 평가하는 데 널리 사용되며 종종 ...

3주 전 · ai

[Paper] LLM Evals의 모든 노이즈 측정

신호와 잡음을 구분하는 것은 실험 과학의 핵심이다. 잘 확립된 통계 방법을 LLM evals에 효과적으로 적용하려면 고려가 필요하다.

3주 전 · ai

[Paper] 언어 모델을 위한 병렬 토큰 예측

우리는 언어 모델에서 병렬 시퀀스 생성을 위한 보편적인 프레임워크인 Parallel Token Prediction (PTP)을 제안한다. PTP는 여러 종속 토큰을 동시에 예측한다.

3주 전 · ai

[Paper] SMART SLM: Structured Memory and Reasoning Transformer, 정확한 문서 지원을 위한 소형 언어 모델

Engineering Manuals(EM)의 사용자는 EM이 길고, 서면 문서와 단계별 절차를 포함하는 조밀한 형식 때문에 읽기 어렵다고 느낍니다.