Bolmo의 아키텍처는 품질을 희생하지 않고 효율적인 바이트 수준 LM 훈련을 가능하게 합니다

Source: VentureBeat

Introduction

토크나이저가 필요 없는 다국어 모델을 원하는 기업들은 점점 더 노이즈가 많거나 자원이 부족한 텍스트에서 발생하는 취약성을 줄이기 위해 바이트‑레벨 언어 모델에 주목하고 있습니다. 이 틈새 시장을 공략하고 — 대규모로 실용화하기 위해 — Allen Institute of AI (Ai2)는 Bolmo라는 새로운 모델 패밀리를 소개했습니다.