搜索：稀疏注意力机制

「稀疏注意力机制」共找到 1044 篇相关文章

Codex 的野心，MCP 和 Skill 的下一步

作者密集使用Codex App等Agent应用，发现顶尖Agent收敛到相同界面布局。Codex野心大，要处理多格式文件、支持专业工作流。MCP和Skill未解决用户二次编辑问题，插件机制或是出路，Codex已有原始插件市场。

本文是基于Spring AI构建AI Agent的实践分享。该项目集成RAG、Function Calling等核心能力。文章从六个核心模块剖析其架构与实现，涵盖配置、访问方式，还介绍各模块工作机制、代码及应用场景。

Meta联合多机构发布论文，提出HyperAgents框架，让AI不仅改进自身，还能改进「改进自己的方法」。它打破传统AI自我改进瓶颈，在多领域测试表现出色，还自发形成记忆机制，有迁移和叠加效果。

jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。

Sakana AI受自然演化启发提出全新模型融合进化方法M2N2，引入‘择偶机制’让AI‘竞争、择偶、繁衍’。此研究获GECCO 2025最佳论文提名，M2N2表现优于其他算法，还避免‘灾难性遗忘’。

17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。

该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。

发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。

2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。