Tag: 注意力机制

聚焦大模型三大核心注意力机制：多头注意力（MHA）、多查询注意力（MQA）与分组查询注意力（GQA）。从张量维度（Tensor Shapes）与计算流出发，深度解读前向传播中矩阵的行、列、元素物理含义，剖析三者的优缺点与显存带宽权衡。