「分层稀疏注意力」共找到 442 篇相关文章
AI牛马实现“干中学”！上海AI Lab联合推出智能体自我进化新框架
上海人工智能实验室等研究者提出MUSE智能体框架，让智能体实现“干中学”。它围绕分层记忆模块，通过先做、再反思、然后进化，解决现有智能体痛点，实验表现出色，还展望了未来优化方向。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
手机“自动驾驶”时代来了，智谱还让手机拥有“云替身”
作者参加智谱AutoGLM新版本闭门会并试用，该版本亮点多，如成全球首个手机通用Agent，操作在云设备运行，全平台覆盖等。云手机Agent能力稳定高效，能处理多类任务，还可助老人等群体用手机。
40年后，Dijkstra算法极限再被突破，清华段然团队更快最短路径算法摘STOC最佳论文
清华交叉信息研究院段然团队研究出全新算法，改进图灵奖得主等人1984年提出的算法，跳过不必要排序，专注重要点间最短距离，缩短计算时间。该研究在STOC 2025获最佳论文奖。
DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率
ACL公布2025年获奖论文，中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制，实验显示性能优、准确率高、速度提升显著，成果或用于DeepSeek V4。
MSSP | 西北工业大学马启悦，高传强等：融合激波位置的跨声速抖振气动载荷辨识
本文提出融合激波位置的跨声速抖振气动载荷辨识方法，从时序流场提取激波特征，用稀疏辨识构建参数化代数方程，增强预测精度与泛化能力，为准确预测跨声速气动载荷提供新思路。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。