「Attention性能瓶颈」共找到 2429 篇相关文章
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
图像界的DeepSeek！12B参数对标GPT-4o，5秒出图，消费级硬件就能玩转编辑生成
Black Forest Labs开源旗舰图像模型FLUX.1 Kontext[dev]，专为图像编辑打造，能在消费级芯片运行。12B参数少、推理快，性能媲美闭源模型。有诸多特点，经优化训练，在KontextBench基准表现优。
"将注意力旋转90°"：深入浅出解读 Kimi 最新出圈成果
Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！
蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。
OpenAI重新开源！深夜连发两个推理模型，o4-mini水平，笔记本、手机可跑
OpenAI 自 GPT - 2 后重新开源，此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平，可在笔记本、手机运行，有宽松许可等亮点，在多测试中表现出色。
Jeff Dean最新访谈：基础模型越来越强，小团队如何与谷歌等巨头竞争？
Jeff Dean 在 Y Combinator 活动中与 Diana Hu 对谈，探讨 AI 创业者面临的问题。他指出推理成新瓶颈，预计有更多推理硬件；Agent 执行复杂任务进步快；小团队可找 1%成功率问题；还提及稀缺能力及创业建议。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台
硅基流动完成数亿元 A 轮融资，由阿里云领投。创始人袁进辉称业务因开源大模型崛起和算力需求激增爆发式增长。公司推出高性能推理引擎等，产品服务多个行业，未来将深耕创新、推动 AI 应用。
智谱清言微服务架构转型实践——基于 CloudWeGo 的技术演进
本文由智谱清言资深后端开发工程师肖文彬整理，阐述其从单体架构到微服务体系的转型实践。随着业务发展，传统单体架构显瓶颈，智谱清言开启转型，分享挑战、架构设计、技术选型等经验，为相关团队提供借鉴。