[Paper] 오래된 토크나이저에 새로운 단어 가르치기: 사전 학습 모델을 위한 효율적인 토크나이저 적응
Tokenizer adaptation은 사전 학습된 언어 모델을 새로운 도메인이나 언어로 전이하는 데 중요한 역할을 합니다. 이 연구에서는 두 가지 상보적인…
465 posts from this source
Tokenizer adaptation은 사전 학습된 언어 모델을 새로운 도메인이나 언어로 전이하는 데 중요한 역할을 합니다. 이 연구에서는 두 가지 상보적인…
우리는 멤버십 쿼리만을 사용하여 알려지지 않은 binary decision tree를 능동적으로 학습하는 문제를 고려한다. 이 설정에서 학습자는 l에 대해 추론해야 한다.
최근 대형 언어 모델의 발전으로 편향 탐지와 분류가 개선되었지만, 종교와 같은 민감한 주제는 여전히 도전 과제를 제시한다.
Mixture-of-Experts (MoE)는 대형 언어 모델(LLM) 아키텍처로서 상당한 장점을 제공하지만, 저‑…에 배치될 때 큰 도전에 직면합니다.
SMT 솔버 기반 자동 검증 도구는 복잡한 소프트웨어 시스템을 검증하는 데 큰 진전을 이루었습니다. 그러나 이러한 도구들은 근본적인 …
복잡한 플라즈마 동역학의 효율적인 시뮬레이션은 핵융합 에너지 연구를 진전시키는 데 필수적입니다. Particle-in-Cell (PIC) Monte Carlo (MC) 시뮬레이션은 ...
인공지능(AI)과 딥러닝(DL)의 급속한 발전은 최적화 중심의 여러 하위 분야, 특히 신경…의 등장을 촉진했습니다.
Spiking neural networks (SNNs)는 계산 신경과학과 인공지능 모두에서 유망한 방향으로 떠올랐으며, ...와 같은 장점을 제공합니다.
Transformer 디코더는 다양한 작업에서 강력한 결과를 달성했지만, KV 캐시가 필요로 하는 메모리는 긴 시퀀스 길이에서 금지적이 된다. 비록 ...
의학에서 조기 예측을 위한 Machine learning은 최근 돌파적인 성과를 보여주었지만, 예측 정확도 향상에 초점을 맞추는 것이 …을 초래했다.
현대 소프트웨어 시스템은 전통적인 코드베이스 조직 전략에 점점 더 큰 부담을 주고 있습니다. Monorepos는 일관성을 제공하지만 종종 확장성 문제를 겪습니다.
이 논문은 Fritz와 Alex HPC 클러스터에서 synthetic benchmarks와 Gromacs 패키지의 에너지 효율을 분석할 때 직면한 도전 과제들을 논의한다.