「Attention性能瓶颈」共找到 2441 篇相关文章
扩散语言模型扛把子LLaDA迎来新版本，数学、代码、对齐能力均提升
中国人民大学与蚂蚁集团团队基于前期 8B 扩散语言模型 LLaDA，提出方差缩减的偏好优化方法 VRPO，推出 LLaDA 1.5。它在数学、代码、对齐任务上性能提升，VRPO 为扩散语言模型对齐提供框架。
RSS 2025｜物理驱动的世界模型PIN-WM：直接从视觉观测估计物理属性，可用于操作策略学习
国防科大、深圳大学、武汉大学团队提出物理驱动的世界模型PIN - WM，能从视觉观测辨识刚体物理属性。还提出PADC提升迁移性能，经实验验证其在非抓握式操作技能Sim2Real迁移中表现出色。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
微软裁撤 Python 之父的嫡系核心团队，CPython 团队没了
近日微软全球裁员，软件工程岗位受打击大。Faster CPython 团队多名核心人员被裁，该团队由 Python 之父牵头，推动了 Python 性能改进。同时，AI 总监 Gabriela de Queiroz 也被解雇，引发各方关注和讨论。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
AI 创业怎么做？500+ 技术领导者给出了他们正在实践的答案｜ TGO 杭州十周年庆 & GTLC 杭州站
2026年6月27日，TGO杭州十周年庆·GTLC杭州站举办，以“新十年一起，做AI做的事”为主题。近二十位嘉宾从多方面分享，探讨AI创业、智能体架构等，还有创业者展示产品，活动丰富且聚焦学习。
实测 Seed 2.1 Pro：从零到一，开源一个大学生就业补贴的公益网站
火山引擎在 Force 大会发布豆包大模型 Seed 2.1 Pro 系列，API 上线火山方舟。作者实测用其完成大学生就业补贴政策网站开源项目，展示模型 Coding 和 Agent 能力，还提及性能、成本等优势及后续计划。
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
不用递归自动微分，也能稳定计算高阶 PDE 导数？ Mollifier Layers 如何改造 PDE 反问题学习
本文介绍《Mollifier Layers: Enabling Efficient High-Order Derivatives in Inverse PDE Learning》，指出传统PINN递归自动微分计算高阶PDE导数有瓶颈，Mollifier Layers用解析卷积替代，实验显示其在精度、效率上有优势，也有核选择等局限。
牛芯国产先进工艺 DDR5/LPDDR5 IP双双突破6400Mbps
随着人工智能等领域发展，系统对数据吞吐能力需求攀升。牛芯半导体基于国产先进工艺研发DDR5/LPDDR5 IP，实现6400Mbps高性能验证，通过创新弥补工艺代差，打通国产链路，具成本和安全优势。