「高效注意力机制」共找到 1489 篇相关文章
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。
看似无害的提问，也能偷走RAG系统的记忆——IKEA：隐蔽高效的数据提取攻击新范式
研究聚焦RAG系统，提出全新黑盒攻击方法IKEA。它不依赖异常指令，通过自然查询提取私有信息。经多数据集测试，其效率和成功率高，还证实提取知识实用，揭示RAG系统潜在脆弱性。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
3B小模型吊打72B巨头！轻量级文档解析OCR，性能超Gemini，高效且精准！
Yuliang - Liu团队在GitHub开源轻量级文档解析模型MonkeyOCR，以SRR三元组范式实现高效精准解析，3B参数模型在英文文档解析上超Gemini 2.5 Pro和Qwen2.5 - VL - 72B，还介绍了安装部署、适用场景等。
AAAI 2026 Oral | SplatSSC：解耦深度引导的高斯泼溅，开启单目语义场景补全高效新范式
单目3D语义场景补全领域长期受困于密集网格表征，现有‘对象中心’范式也有瓶颈。SplatSSC框架通过深度引导策略与解耦聚合机制，实现性能与效率提升，在实验中表现优异。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
中山大学HCP Lab联合拓元智慧提出高效世界模型DDP-WM，机器人规划效率提升9倍
中山大学人机物智能融合实验室联合拓元智慧提出新型高效世界模型框架DDP - WM。它解耦动态预测，在提升推理速度同时，提高规划成功率，如Push - T任务规划速度提9倍、成功率从90%升至98%。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。