연구: Self-generated Agent Skills는 무용지물이다

Source: Hacker News

저자

• Xiangyi Li
• Wenbo Chen
• Yimin Liu
• Shenghan Zheng
• Xiaokun Chen
• Yifeng He
• Yubo Li
• Bingran You
• Haotian Shen
• Jiankai Sun
• Shuyi Wang
• Qunhong Zeng
• Di Wang
• Xuandong Zhao
• Yuanli Wang
• Roey Ben Chaim
• Zonglin Di
• Yipeng Gao
• Junwei He
• Yizhuo He
• Liqiang Jing
• Luyang Kong
• Xin Lan
• Jiachen Li
• Songlin Li
• Yijiang Li
• Yueqian Lin
• Xinyi Liu
• Xuanqing Liu
• Haoran Lyu
• Ze Ma
• Bowei Wang
• Runhui Wang
• Tianyu Wang
• Wengao Ye
• Yue Zhang
• Hanwen Xing
• Yiqi Xue
• Steven Dillmann
• Han‑chung Lee

PDF 보기 | HTML (실험적)

Abstract

Agent Skills는 추론 시점에 LLM 에이전트를 보강하는 절차적 지식의 구조화된 패키지입니다. 빠른 도입에도 불구하고 실제로 도움이 되는지를 측정할 표준 방법이 없습니다. 우리는 SkillsBench를 소개합니다. 이는 11개 도메인에 걸친 86개의 작업과 선별된 Skills 및 결정론적 검증자를 결합한 벤치마크입니다. 각 작업은 세 가지 조건(스킬 없음, 선별된 스킬, 자체 생성 스킬)에서 평가됩니다. 우리는 7,308개의 트래젝터리를 통해 7가지 에이전트‑모델 구성을 테스트했습니다. 선별된 Skills는 평균 통과율을 16.2 percentage points (pp) 올리지만, 효과는 도메인마다 크게 다릅니다(소프트웨어 엔지니어링에서 +4.5 pp, 헬스케어에서 +51.9 pp) 그리고 84개 작업 중 16개는 부정적인 변화를 보였습니다. 자체 생성된 Skills는 평균적으로 이점을 제공하지 않으며, 모델이 소비함으로써 얻는 절차적 지식을 신뢰성 있게 작성할 수 없음을 보여줍니다. 2–3개의 모듈로 구성된 집중형 Skills는 포괄적인 문서보다 성능이 뛰어나며, Skills를 갖춘 작은 모델도 Skills가 없는 큰 모델에 필적할 수 있습니다.

주제

• 인공지능 (cs.AI)

인용

• arXiv: 2602.12670 (cs.AI)
• DOI: (arXiv에서 발행한 DOI, DataCite를 통해, 등록 대기 중)

제출 기록

From: Xiangyi Li
Version: v1 – 2026년 2월 13일 금요일 07:06:06 UTC (1,366 KB)