Tag: 分词算法

一文讲清大模型分词器的本质：从“为什么需要子词分词”，到结合具体数据的 BPE 训练推导，再到现代大模型标配 BBPE 的核心机制。