「注意力算法」共找到 756 篇相关文章
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
只有 30 个工程师的 X，是怎么重新杀回 App Store 第二的
本文讲述X产品负责人Nikita Bier的经历，他曾多次打造爆款App。加入X后，30人团队30天内将App Store排名从78推到2。他还分享X在算法、功能等方面的改进，以及Elon的管理风格和X未来计划。
量子计算摆脱GPU！IBM一句话AMD市值暴涨2000亿元：用FPGA芯片即可
IBM宣布在量子计算商业化取得重大进展，能在AMD芯片实时运行量子纠错算法，速度比需求快10倍，无需GPU，用FPGA芯片与量子计算机配合即可，这一突破让AMD和IBM市值均大幅上涨。
ICLR 2026 | 这道题是否需要用图思考？模型来告诉你！自适应思考模式切换助力通用视觉推理提升
本文来自复旦大学和阿里巴巴未来生活实验室，已中稿 ICLR 2026。目前视觉推理方法有纯文本和用图思考两种模式，各有优劣。研究者提出 Mixture-of-Visual-Thoughts 范式及 AdaVaR 框架、AdaGRPO 算法，让模型自适应选模式，实验显示其在多任务有提升。
构建能源领域的AI专家：一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题，团队研发综合能源智能体平台，阐述框架搭建、各组件功能及设计考量，还分享思考与可优化点。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
Issue修复开源No.1！蚂蚁 | 提出代码图模型：CGM，结合GraphRAG架构，领先最强开源7.33%
为解决开源模型在仓库级代码理解上的能力瓶颈，蚂蚁全模态代码算法团队提出 CGM 架构，融合仓库结构与语义信息。CGM 首创图结构与语言模型融合的对齐框架，还搭配了 GraphRAG 框架，在多个代码任务中表现出色，且相关资源均已开源。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
蚂蚁Ring-1T正式登场，万亿参数思考模型，数学能力对标IMO银牌
10月14日凌晨，蚂蚁万亿级思考模型Ring-1T正式登场，这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色，数学能力达IMO银牌水平，还展示了强大的代码、推理、写作等能力，其背后是IcePop算法与ASystem框架的支撑。