「注意力算法」共找到 756 篇相关文章
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
太初元碁乔梁：AI算法已经跑到单芯片极限｜MEET2026
在量子位MEET2026智能未来大会上，太初元碁乔梁表示，当下AI算力需求指数级增长，超智融合成行业共识。单颗芯片性能成瓶颈，太初元碁设计PC link实现芯片互联，还分享了HPC+AI在多领域的落地实践。
AI让文科彻底灭绝？算法猜不透人心，人类终将反杀！
著名科技记者Steven Levy给文科生打强心剂，认为无论AI多强大，它没人性，人文学科涉及对人类行为与创造力的理解，是计算机无法获得的，文科生仍有广阔未来。
将DSA注意力引入多模态，快手Keye2.0开启强化推理新范式
快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。
Mythos架构被22岁小伙“逆推”开源了！MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。
多模态推理最高加速3.2倍！华为诺亚新算法入选NeurIPS 2025
华为诺亚方舟实验室研究入选NeurIPS 2025，其提出视觉感知投机推理（ViSpec）框架，解决草稿模型处理图像信息效率难题，在不牺牲生成质量下，对主流VLM最高达3.22倍推理加速。
用大模型检测工业品异常，复旦腾讯优图新算法入选CVPR 2025
AI模型用于工业异常检测获新SOTA，相关论文中稿CVPR 2025。复旦大学、腾讯优图实验室等机构研究人员设计基于扩散模型的少样本异常图像生成新模型DualAnoDiff，实验显示其性能更优。
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
AAAI 2026 Oral | 告别注意力与热传导！北大清华提出WaveFormer，首创波动方程建模视觉
北大清华团队在AAAI 2026 Oral论文中提出WaveFormer，首创用波动方程建模视觉。它将特征传播写成欠阻尼波动方程，实现频率 - 时间解耦，在多任务验证中速度、效率与精度全面超越。
NIPS2025｜小红书智创AIGC团队提出布局控制生成新算法InstanceAssemble
当下文本生成图像扩散模型有进展，但现有布局到图像生成方法在复杂场景表现不佳。小红书智创AIGC团队提出InstanceAssemble框架，从架构和评测应对难题，实现复杂布局下精确图像生成，有广阔应用潜力。