멀티스트림 LLM, 프롬프트·사고·I/O 병렬·분리 논문 발표

출처: Hacker News

초록

언어 모델 능력의 지속적인 향상은 코딩이나 컴퓨터 활용 애플리케이션 등에서 자율 에이전트의 동력으로 널리 사용될 수 있게 만들었습니다. 하지만 이러한 시스템의 핵심은 ChatGPT와 같은 초기 지시‑튜닝 모델 이후 크게 변하지 않았습니다. 고급 AI 에이전트조차도 메시지 교환 형식에 의존해, 사용자·시스템·자신(즉, 사고 사슬)·도구와 순차적으로 메시지를 주고받으며 하나의 연산 흐름 안에서 동작합니다.

채팅 모델이 하나의 흐름에 국한되는 이 병목 현상은 여러 제한을 초래합니다:

• 에이전트는 읽는 동안 행동(출력 생성)을 할 수 없으며, 쓰는 동안 새로운 정보에 반응할 수 없습니다.
• 에이전트는 생각하는 동안 행동할 수 없고, 정보를 읽거나 행동하는 동안 생각할 수 없습니다.

본 연구에서는 순차적인 메시지 형식에 대한 지시‑튜닝을 여러 개의 병렬 연산 흐름에 대한 지시‑튜닝으로 전환함으로써 모델의 제약을 해소할 수 있음을 보여줍니다. 각 역할을 별개의 흐름으로 분리합니다. 언어 모델의 각 순전파 단계는 이제 여러 입력 흐름을 동시에 읽고, 여러 출력 흐름에 토큰을 생성하며, 이 모든 토큰은 이전 시점에 인과적으로 의존합니다.

우리는 이러한 데이터‑기반 변화가 앞서 언급한 사용성 제한을 해결하고, 병렬화를 통한 모델 효율성을 향상시키며, 관심사의 분리를 개선해 모델 보안을 강화하고, 모델 모니터링 가능성을 더욱 높일 수 있다고 주장합니다.