搜索：注意力效率 - AI Reading Hub

「注意力效率」共找到 1375 篇相关文章

SSM+扩散模型，竟造出一种全新的「视频世界模型」

在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。

团队在五个月内开发并发布无人工编写代码的内部测试产品，代码均由Codex生成，效率高。介绍了开发过程，如定义工程师角色、增加应用可读性等，还提及面临的挑战及解决办法，分享实践心得。

Claude Code团队分享10条内部技巧，像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点，如并行运行虽提升效率但非适合所有人，投资CLAUDE.md性价比高，且强调找到适合自己的使用方式。

7月26日，中国移动在2025世界人工智能大会发布「九天」基础大模型3.0，端到端技术全面升级，复杂推理能力提升35%，智能体调用效率提升21%，还推出代码、数学等专项大模型，多模态能力也焕新。

论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。

人工智能代理快速渗透企业场景，但当前系统依赖大型语言模型，存在经济成本和效率错配痛点。NVIDIA团队提出小型语言模型才是代理AI未来，论证其能力、经济性和操作适配性优势，并给出迁移路径。

中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。

三星研究院发布端侧大模型架构MeKi，提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力，实现容量与性能提升。实验显示其性能、效率表现优，为边缘部署LLM提供新思路。

现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。

阿里巴巴对开源权重模型 Qwen3 全新升级，发布 Qwen3 - Next - 80B - A3B 的 Instruct 和 Thinking 版本权重。其融合新研究成果，推理能耗低、速度快，还优化架构和训练方法提升效率与稳定性。