「线性注意力机制」共找到 1036 篇相关文章
Claude Code 开发者分享：如何管理百万上下文
Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率
ACL公布2025年获奖论文，中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制，实验显示性能优、准确率高、速度提升显著，成果或用于DeepSeek V4。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
Kimi K2.5登顶开源第一！15T数据训练秘籍公开，杨植麟剧透K3
Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。