Tag: 上下文扩展

一文搞懂 Transformer 位置编码的本质：为什么需要位置编码？从 APE 的加法注入到 RoPE 的复数旋转几何证明，再到长上下文扩展（PI、NTK、YaRN、Base 缩放）演进全貌。