「高效注意力机制」共找到 1489 篇相关文章
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
香港中文大学等研究者提出TON选择性推理框架，使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制，实验显示其让推理长度最多减90%，准确率还提升，有益模型部署。
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程，通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环，从集群利用率、单节点算力、后训练技术三方面突破，实现大模型高效训练。
华为攻克AI推理「想太多」问题！新方法让大模型推理提速60%，准确率还高了
华为提出高效推理方法S - GRPO，突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计，在Qwen3上有效，推理提速60%，生成答案更精确有用，在多个推理benchmark测评中表现出色。
o4-mini暴击六大数学天团，攻破陶哲轩难题！4.5h激战人类阵地失守
Epoch AI团队举办竞赛，约40位数学精英分成8组与o4 - mini - medium在FrontierMath基准上对决。o4 - mini击败6组团队，虽未完全超越人类，但Epoch AI预测到2025年底AI可能超30% - 50%人类基准。
炸裂！微软开源Windows子系统
今天凌晨微软宣布开源适用于Linux的Windows子系统WSL。它能让开发者在Windows上运行Linux环境，无需虚拟机或双引导。还介绍了WSL工具、架构及文件共享机制，回顾其发展历程。
PITT | 提出PhyT2V框架：让文生视频（T2V）更符合物理规律（CVPR2025）
当前T2V技术迈向推理驱动阶段，物理规律是关键约束。匹兹堡大学团队提出PhyT2V框架，不依赖模型重训练或大规模外部数据，可增强主流T2V模型能力，有低落地门槛和良好泛化性。
北大校友，OpenAI前安全副总裁Lilian Weng最新万字博客文章：Why We Think
北大校友Lilian Weng新发布万字博文《Why We Think》，系统梳理让AI模型‘多想一会儿’的前沿方法及逻辑，深入剖析多种机制突破AI性能瓶颈的理论、技术与进展，还提出一系列待解决的开放性问题。
字节开源DreamO，一个框架包揽多种图像定制需求
近期图像定制研究展示大规模生成模型潜力，但多数方法通用性有限。字节提出DreamO框架，支持多种图像定制任务，有特征路由约束机制，能解决特征冲突，还介绍其技术原理与各任务效果。
公开模型一切，优于DeepSeek-R1，英伟达开源Llama-Nemotron家族
英伟达推出面向高效推理的 Llama-Nemotron 系列模型，包括 Nano、Super、Ultra 等规模，具备卓越推理能力与效率，采用开放许可。模型支持动态推理切换，训练结合多方法，性能优于 DeepSeek-R1 等。