「Attention性能瓶颈」共找到 2426 篇相关文章
告别噪声初始化：NTU MARS Lab提出A2A新范式，实现机器人高性能单步动作生成
新加坡南洋理工大学 MARS Lab 提出 Action-to-Action (A2A) Flow Matching 新范式，以历史机器人轨迹为生成起点，打破生成速度与精度瓶颈，在训练效率、推理速度及泛化表现上佳，还可扩展至视频生成领域。
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
推理快30%，性能超过千亿参数模型，15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker，以150亿参数体量，多模态推理能力强，推理Token消耗降超30%。它在AI分析指数成绩佳，优化计算成本，还介绍了训练策略与多维度性能实测情况。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
合成数据>人工数据，绝对性能暴涨超10个点！仅需任务定义，高效微调大模型
为解决基础模型在专业领域表现不佳、依赖人工标注数据的难题，北大、MIT等机构提出「合成数据强化学习」框架。该框架仅需任务定义，能生成合成数据微调模型，在多领域基准上性能提升显著，代码已开源。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
突破三维感知瓶颈：魔芯科技发布VGGT系列成果，实现动态高保真重建并获新一轮融资
魔芯科技联合同济大学等团队，基于 VGGT 架构发布四项成果，突破三维感知在流式处理、动态鲁棒性和精细感知上的瓶颈。还获新一轮融资，后续将加大对空间智能与世界模型技术投入。
北大字节开源首个时空推理视频模型！思考过程全透明，性能超越GPT-4o
北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。
开源中小模型+Skills也性能暴增！卢森堡大学探索了小模型驾驭Skills的边界
卢森堡大学等研究探索小模型驾驭Skills的边界。工业界因数据安全渴望开源小模型，智能体Skills框架让小模型性能暴增。研究拆解小模型处理复杂任务的方法，还验证不同策略有效性，发现代码专用模型优势。