搜索：几何上下文注意力

「几何上下文注意力」共找到 899 篇相关文章

MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer

MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。

本文探讨AI辅助开发带来的上下文认知断层问题。在开发中，AI前期提效但后期难题凸显，企业面临团队执行和管理层决策层面隐患。可通过融合三大工程规范构建上下文存储库解决，确保开发逻辑可控。

在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。

在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。

谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。

本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。

LLM领域线性注意力机制正在回归，工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可，今年下半年多个国产模型采用其变体，MiniMax却又换回传统架构，Kimi新模型带来新解法。

Anthropic宣布Claude Sonnet 4支持100万Token上下文窗口，容量是之前5倍。长上下文支持已向部分客户公测，将推给更多用户。该功能已在亚马逊Bedrock公测，也将登陆Google Cloud。还介绍了用例、定价及早期用户好评。

前网易副总裁汪源在2026奇点智能产品大会分享，指出智能体系统瓶颈正从模型能力、Harness工程，转移到上下文。他还介绍了做好上下文基础设施的要点，以及推出的新内容格式KRL。

现在3行配置就能让GPT - 5.6 Sol封印解除，在Codex里用上1M上下文。不过有网友警告轻易别用，因超出默认窗口，模型消耗token速度会翻倍，且模型上下文利用能力会下降。此外，Codex确定会上Astra。