博客园· 罗西的思考·· 2 天前AI 评分60
Kimi K3 的 Attention Residuals 原理与 SGLang、vLLM 实现梳理
【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理（1） - 罗西的思考
AI 导读
作者系统梳理了 Kimi Team 技术报告中的 Attention Residuals，把标准残差在深度维的等权累加换成可学习伪查询加 softmax 注意力，并给出 Block 版本以降低内存。
来源：博客园 · cnblogs.com