「稀疏注意力机制」共找到 1044 篇相关文章
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
DeepSeek V3到V3.2的进化之路，一文看全
知名AI研究者Sebastian Raschka发布深度博客，详细梳理DeepSeek V3到V3.2进化历程。DeepSeek V3.2性能对标GPT - 5和Gemini 3.0 Pro，且为开放权重模型，报告涵盖众多有趣领域和知识。
DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率
ACL公布2025年获奖论文，中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制，实验显示性能优、准确率高、速度提升显著，成果或用于DeepSeek V4。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
OpenAI偷装Anthropic Skills实锤，ChatGPT、Codex已植入！开发者实测11分钟造PDF：比MCP强！
近日开发者发现 OpenAI 悄悄支持了 Claude 构建的 Agent Skills 机制，内置 excel、word 和 pdf 等技能。其实现理念与 Anthropic 相似，且 Skills 支持功能已落地 ChatGPT 和 Codex。业内对 Skills 看法不一，但它为智能体发展带来新方向。