NeurIPS 베스트 페이퍼 상 2025

Source: Hacker News

소개

Best Paper Award 위원회 구성원은 프로그램 체어와 데이터베이스·벤치마크 트랙 체어가 추천했으며, 머신러닝 분야의 선도 연구자를 선정했습니다. 이 후보자들은 총체 의장 및 차세대·접근성 의장의 승인을 받았습니다.

Best Paper Award 위원회는 컨퍼런스의 메인 트랙과 데이터셋·벤치마크 트랙에서 영향력이 큰 논문 몇 편을 선정하는 임무를 맡았습니다.

올해 최우수 논문 및 준우수 논문 상이 7편의 획기적인 논문에 수여된다는 소식을 전하게 되어 기쁩니다. 여기에는 4편의 최우수 논문(그 중 하나는 데이터셋·벤치마크 트랙)과 3편의 준우수 논문이 포함됩니다. 이 7편은 확산 모델 이론, 자기‑지도 강화학습, 대형 언어 모델을 위한 어텐션 메커니즘, LLM의 추론 능력, 온라인 학습 이론, 신경 스케일링 법칙, 언어 모델 다양성 벤치마킹 방법론 등에서의 진보를 강조합니다.

수상작은 제목 알파벳 순으로 아래에 제시됩니다.

인공 하이브마인드: 언어 모델의 개방형 동질성 (및 그 이상)

저자:

• Liwei Jiang
• Yuanjun Chai
• Margaret Li
• Mickel Liu
• Raymond Fok
• Nouha Dziri
• Yulia Tsvetkov
• Maarten Sap
• Yejin Choi

초록

대형 언어 모델(LM)은 종종 다양하고 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 이는 유사한 출력에 반복적으로 노출됨으로써 인간 사고가 장기적으로 동질화될 우려를 제기합니다. 그러나 LM 출력 다양성을 평가할 수 있는 확장 가능한 방법은 제한적이며, 특히 무작위 숫자나 이름 생성과 같은 좁은 작업이나 단일 모델에서 반복 샘플링을 넘어서는 경우는 더욱 그렇습니다. 이러한 격차를 해소하기 위해 우리는 Infinity‑Chat을 소개합니다. 이는 26 K개의 다양하고 실제 세계의 개방형 사용자 질의로 구성된 대규모 데이터셋으로, 단일 정답이 없는 광범위한 가능한 답변을 허용합니다. 우리는 LM에 제시되는 개방형 프롬프트 전체 스펙트럼을 특성화하기 위한 최초의 포괄적인 분류 체계를 도입했으며, 6개의 상위 카테고리(예: 창의적 콘텐츠 생성, 브레인스토밍 & 아이데이션)와 이를 세분화한 17개의 하위 카테고리로 구성됩니다.

Infinity‑Chat을 활용하여 우리는 LM에서 모드 붕괴에 대한 대규모 연구를 수행했으며, 개방형 생성에서 뚜렷한 Artificial Hivemind 효과를 밝혀냈습니다. 이는 (1) 모델 내부 반복으로, 단일 모델이 일관되게 유사한 응답을 생성하고, (2) 모델 간 동질성으로, 서로 다른 모델이 놀라울 정도로 유사한 출력을 생성하는 현상입니다. Infinity‑Chat은 또한 31 250개의 인간 주석을 포함하고 있으며, 절대 평점 및 쌍별 선호도를 포함해 각 예시당 25명의 독립