「高效注意力机制」共找到 1491 篇相关文章
英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5,实现SOTA表现,吞吐量提至前代3倍,可单卡高效运行。它采用NAS优化架构,经多数据集训练,现已开源。
清华-腾讯联手:音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型,目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点,通过构建数据集、设计结构和统一架构实现多任务合作。
无需验证器的RL:RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励(RLVR)提升大语言模型(LLM)推理能力的方法,受限于领域特定验证器。本文提出RLPR框架,利用LLM生成正确答案的固有概率作奖励信号,实现无需外部验证器的通用领域强化学习,效果显著。
ICML 2025杰出论文出炉:8篇获奖,南大研究者榜上有名
本周一,ICML 2025公布最佳论文奖项,共8篇获奖,含6篇杰出论文奖、2篇杰出立场论文奖,南京大学研究者上榜。大会投稿量持续增长,展示AI领域火热。文中介绍了各获奖论文的研究内容与成果。
谷歌AI将攻破200年数学难题!39岁天才率队密研三年,或摘千禧年大奖
谷歌DeepMind携手39岁数学天才Javier Gómez Serrano,率20人团队秘研三年,借AI冲击千禧年大奖难题——纳维 - 斯托克斯方程,预计未来12 - 18个月取得成果,若成功将助人类深入理解多领域机制。
西湖 & 浙大 | PiFlow:让AI拥有“科学直觉”,Agent用于科学发现的新范式!
西湖大学团队提出PiFlow,一个基于信息论的自动化科学发现框架。它将科学发现视为结构化的不确定性降低过程,由科学原理指导,通过Min - Max优化机制平衡探索与利用,在多领域实验中效果显著,应用前景广。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
Energy | 西工大史子颉、高传强等:三维风力机叶片动态失速数据融合建模研究
动态失速威胁风力机叶片安全与发电效率,传统模型有局限。西工大团队开发数据融合神经网络与动量叶素理论耦合框架,能高效高精度预示三维叶片动态失速,虽部分工况有偏差,但预测精度显著提升。
全球首个AI智能体「自进化」开源框架来了!一次部署,终生可用
英国格拉斯哥大学团队发布全球首个AI智能体自进化开源框架EvoAgentX,打破传统多智能体系统构建与优化限制。它有自动化构建、自进化机制和系统性评估亮点,实验验证其性能提升显著。
AI生成视频总不符合物理规律?匹兹堡大学团队新作PhyT2V:不重训练模型也能让物理真实度狂飙2.3倍!
匹兹堡大学团队提出 PhyT2V 框架,论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据,通过链式推理与迭代修正机制,增强主流 T2V 模型物理场景泛化与生成能力,应用前景广。