最初撰写于2023年。此处重新发布。Tokenizers 是生成式 AI 模型（如 GPT‑4 https://openai.com/gpt-4）的关键组成部分，能够创建...