「高效注意力机制」共找到 1489 篇相关文章
20000 GPU·h砸出 106 个SOTA模型架构：AI 科研进入“自我加速”时代
模型架构发现领域迎来突破，ASI - ARCH超级智能体无需人类预设搜索空间，完成科研闭环。经20000 GPU·h、1773次实验，发现106个超越人类SOTA的线性注意力架构，且已开源。
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述由自研分布式文件系统客户端 EFC 缓存架构更新引发的数据不一致问题排查过程。经多轮分析，发现是版本号回退致客户端读旧数据。修复后测试无异常，还揭秘部分 POSIX 接口底层情况。
隐形束缚：RLVR为何无法突破LLM的推理边界？
大型推理模型进展依赖带可验证奖励的强化学习（RLVR），但它能否扩展模型推理能力存疑。本文通过理论证明与实验，揭示RLVR存在“隐形束缚”，只能在基座模型初始能力内优化，难以发现新解。
OpenAI员工爆料：已抢先体验GPT-5！7月上线，疑似完全多模态
新智元报道，X上神秘爆料与网友灰度测试经历让GPT - 5讨论再升温。奥特曼称今年夏天可能推出，迈向完全多模态。此外，还提及OpenAI核心团队动态、出走高管新动作及AI发展风险与监管建议。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
开源版MetaQuery来了！OpenUni用1.1B参数媲美BLIP3-o-8B，数据代码完全开源
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数达 8B 模型性能，代码、权重、数据全开源。它架构极简、参数高效，还继承了多模态理解能力。
从 “可用” 迈向 “好用”：详解火山引擎智能视频云的三层架构升级｜甲子光年
2025年AI关键在多媒体领域，智能多媒体落地有变革也面临挑战。火山引擎提出智能视频云三层架构升级，即基建、平台、应用层升级，助企业实现低成本、高效率规模化应用，多行业已基于此打造能力。
MiniMax重磅开源M1模型：百万上下文超DeepSeek R1，实现性能与效率双杀
MiniMax正式开源首个推理模型M1，原生支持百万级上下文长度，在推理效率、计算成本和复杂任务能力上有独特表现。其在性能和效率上超越DeepSeek R1等模型，还提出创新强化学习算法。
昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案，三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%，为大规模MoE模型训练扫清障碍。
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。