[Paper] 무엇이 Representation Steering을 주도하는가? Steering Refusal에 대한 메커니즘적 사례 연구
스티어링 벡터를 대형 언어 모델(LLMs)에 적용하는 것은 효율적이고 효과적인 모델 정렬 기술이지만, 이에 대한 해석 가능한 설명이 부족합니다…
스티어링 벡터를 대형 언어 모델(LLMs)에 적용하는 것은 효율적이고 효과적인 모델 정렬 기술이지만, 이에 대한 해석 가능한 설명이 부족합니다…
AI 에이전트는 당신의 받은편지함을 자동화할 수 있을지도 모르지만, 삶의 다른 일상적인 측면을 자동화할 수 있을까요? 매일의 온라인 작업은 현실적이면서도 아직 해결되지 않은 테스트를 제공합니다.
대형 언어 모델(LLMs)은 매개변수에 사실 지식을 기억하는 데 어려움을 겪을 수 있으며, 이는 종종 환각을 일으키고 지식‑
대규모 언어 모델(LLMs)은 놀라울 정도로 복잡한 작업을 수행할 수 있지만, 이러한 능력이 사전 학습 중에 어떻게 나타나는지에 대한 세밀한 세부 사항은 여전히 충분히 이해되지 않고 있다.
우리는 최근 Kleinberg와 Mullinathan [KM24]가 도입한 모델인 language generation in the limit를, differentia의 제약 하에서 연구를 시작한다.
과학은 현재 quality assurance에 대해 두 가지 옵션을 제공하지만, 둘 다 충분하지 않다. Journal gatekeeping은 integrity와 contribution을 모두 검증한다고 주장하지만 실제로는 …
Prompt injection attacks는 실제 응용 분야 전반에 걸쳐 심각한 보안 위험을 초래합니다. 점점 더 많은 관심을 받고 있지만, 커뮤니티는 …
!https://cdn-avatars.huggingface.co/v1/production/uploads/620760a26e3b7210c2ff1943/-s1gyJfvbE1RgO5iBeNOi.png Qwen/Qwen3-Reranker-0.6B - 작업: 텍스트 랭킹 - Par...
Pluralistic alignment는 대형 언어 모델(Large Language Models, LLMs) 개발에서 중요한 최전선으로 부상했으며, reward models(RMs)는 핵심 메커니즘으로 작용합니다.
공간 이해는 인간 수준 지능의 근본적인 초석입니다. 그럼에도 불구하고 현재 연구는 주로 도메인 특화 데이터에 초점을 맞추고 있습니다…
교육 분야에서 인공지능(AI)에 대한 논쟁은 종종 교육을 점점 더 자동화되거나 위임될 수 있는 모듈식·절차적인 작업으로 묘사한다…
임상 전문성은 의료 지식을 습득하는 것뿐만 아니라 재사용 가능한 진단 패턴을 만들어내는 경험을 축적함으로써 향상됩니다. 최근 LLMs 기반 ...
대규모 언어 모델(LLMs)이 민감한 사용자 데이터로 점점 더 많이 학습됨에 따라, 언어 학습에서 프라이버시의 근본적인 비용을 이해하는 것이 필수적이 된다…
대형 언어 모델(LLMs)이 정적 챗봇에서 autonomous agents로 진화함에 따라, 주요 취약점 영역은 최종 출력에서 intermediate …
과학 문헌의 급속한 성장으로 인해 연구자들이 관련 작업을 효율적으로 발견하고, 평가하며, 종합하는 것이 점점 더 어려워지고 있습니다. Re...
정적인 “train then deploy” 패러다임은 대규모 언어 모델(LLM)이 지속적인 스트…에 대응하여 가중치를 동적으로 조정하는 것을 근본적으로 제한한다.
MLLM은 멀티모달 임베딩 작업에 성공적으로 적용되었지만, 그들의 생성적 추론 능력은 아직 충분히 활용되지 않고 있습니다. 직접적으로 cha...
대형 언어 모델(LLMs)이 일관된 내부 세계 모델을 형성하는지는 여전히 핵심 논쟁거리이다. 기존의 Next-Token Prediction(NTP)은 하나에 초점을 맞춘다.
대규모 언어 모델(LLM) 에이전트는 다중 에이전트 환경에서 인간 대리인으로 점점 더 많이 활동하고 있으며, 여기서 대표 에이전트는 다양한 피어를 통합합니다.
현대의 Transformer 기반 언어 모델은 자연어 처리 작업에서 강력한 성능을 달성하지만, 그들의 latent semantic spaces는 여전히 크게 통합되지...
성격 특성은 자연어에 풍부하게 인코딩되어 있으며, 인간 텍스트로 학습된 large language models (LLMs)는 프롬프트에 조건을 걸면 성격을 시뮬레이션할 수 있다.
Web applications은 서로 다른 정보 자원을 연결하기 위해 하이퍼링크에 크게 의존합니다. 그러나 웹의 동적 특성으로 인해 link rot이 발생하며, 이는 대상이 …
우리는 MegaTrain을 소개한다. 메모리 중심 시스템으로, 단일 GPU에서 전체 정밀도로 100B+ 파라미터 대형 언어 모델을 효율적으로 학습한다. 전통적인…
대규모 언어 모델(LLMs)에서 확장된 추론은 심각한 KV 캐시 메모리 병목 현상을 초래합니다. 주요 KV 캐시 압축 방법들은 KV 중요도를 사용하여 추정합니다…
시각적 추론기(visual reasoner)가 차트, 과학, 공간 이해 및 개방형 과제 전반에 걸쳐 작동하려면 무엇이 필요할까요? 가장 강력한 비전‑언어 모델…
독점적인 AI 시스템은 최근 복잡한 증명 기반 문제에서 인상적인 능력을 보여주었으며, 2025 Inte에서 보고된 금 수준의 성능을 기록했습니다.
강화 학습 with verifiable rewards (RLVR)는 대형 언어 모델(LLMs)의 추론 능력을 크게 향상시켰다. 그러나, 그것은 …
대형 언어 모델 에이전트가 소프트웨어 엔지니어링(SWE) 작업을 넘어 머신러닝 엔지니어링(MLE)으로 진전함에 따라, 에이전트 행동을 검증하는 것이 order...
우리는 Full-Duplex-Bench-v3 (FDB-v3)를 소개합니다. 이는 자연스러운 음성 환경과 다단계 도구 사용 상황에서 spoken language models를 평가하기 위한 benchmark입니다. Unli...
중국어에서 자원이 적은 동남아시아 언어로의 신경 기계 번역(NMT)은 깨끗한 병렬 코퍼스의 극심한 부족으로 인해 여전히 심각한 제약을 받고 있다.
모든 기존의 파인튜닝된 언어 모델에 대한 멤버십 추론 공격은 손수 만든 휴리스틱(예: loss thresholding, Min‑K%, reference calibration)을 사용합니다, 각각…
우리는 신뢰성 인식 관점에서 저자원 추상 요약을 위한 멀티티처 지식 증류를 연구한다. 우리는 EWAD (Entropy Weighte... )를 도입한다.
본 논문에서는 Precision-Informed Semantic Modeling (PRISM)을 제안합니다. 이는 풍부한 표현의 장점을 결합한 구조화된 토픽 모델링 프레임워크입니다...
대규모 언어 모델과 딥 리서치 에이전트는 자신의 주장을 뒷받침하기 위해 citation URLs를 제공하지만, 이러한 인용의 신뢰성은 체계적으로 ...
우리는 대규모 언어 모델 표현 내에서 valence‑arousal (VA) subspace를 식별하는 방법을 제시한다. 211 k개의 감정 라벨이 부착된 텍스트로부터 우리는 감정을 …
칩 설계, GPU 최적화 및 임베디드 시스템 전반에 걸친 산업용 소프트웨어 개발은 엔지니어가 어려운 문제에 대해 어떻게 추론하는지 보여주는 전문가 추론 흔적이 부족합니다.
언어 모델(LMs)은 도메인 특화 작업을 위해 새로운 학습 가능한 어휘 토큰으로 점점 확장되고 있습니다. 예를 들어, 생성형 추천에서의 Semantic-ID 토큰과 같이…
다양한 유효한 답변이 가능한 프롬프트가 주어졌을 때, 이를 포괄적으로 생성하는 것이 다양한 사용자를 만족시키는 첫 번째 단계이다....
이중 확률 행렬은 잔차 스트림 전반에 걸친 학습된 혼합을 가능하게 하지만, 이중 확률 행렬 집합(버크호프 다면체)을 정확히 매개변수화하는 것은…
규제 문서는 LLM 기반 시스템이 반드시 준수해야 하는 법적 구속력 있는 의무를 담고 있습니다. 그러나 조밀하고 계층적으로 구조화된 법률 텍스트를 mac...
프롬프트에서 정보를 처리하는 대형 언어 모델(Large Language Models, LLMs)의 방식을 이해하는 것은 여전히 중요한 과제이다. 이 ‘블랙 박스’를 밝히기 위해, attention vi...
인재 채용은 많은 산업에서 중요한 동시에 비용이 많이 드는 과정이며, 높은 채용 비용과 긴 채용 주기를 동반합니다. 기존 talent recommendation system...
Retrieval-Augmented Language Models (RALMs)는 지식 집약적인 작업에서 상당한 잠재력을 보여주었지만, 여전히 성능에 취약합니다.
보안 팀은 도전에 직면해 있습니다: 새로 공개된 Common Vulnerabilities and Exposures (CVE)의 양이 수동으로 탐지를 개발할 수 있는 역량을 훨씬 초과합니다.
Parameter-efficient fine-tuning (PEFT)은 제한된 계산 예산 하에서 대규모 언어 모델(LLMs)을 적응시키는 중요한 패러다임으로 부상했습니다. Howe...
test-time scaling의 부상은 Large Language Models (LLMs)의 추론 및 에이전시 능력을 눈에 띄게 향상시켰다. 그러나 표준 Transformers는 ...
LLM 에이전트가 점점 더 복잡한 작업을 수행함에 따라, 중요한 질문은 그들이 장기적인 관점에서 전략적 일관성을 유지할 수 있는가이다: 불확실성 하에서의 계획…
우리는 RELISH (REgression with a Latent Iterative State Head)라는 새로운 경량 아키텍처를 소개합니다. 이 아키텍처는 대형 언어 모델을 이용한 텍스트 회귀를 위해 설계되었습니다. Ra...