「新注意力机制」共找到 4298 篇相关文章
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
GPT-5 不是技术新范式，是 OpenAI 加速产品化的战略拐点
文章从不同视角评价 GPT - 5，指出它是 ChatGPT 产品重要升级，是 Router 驱动系统。介绍其能力提升与短板，如 Vibe coding 性价比高但 Agentic 能力不足，还探讨了商业影响、价格战等，期待其 Agentic 能力发展。
Claude新模型危险，鲍威尔召集华尔街紧急开会！全美安全股暴跌2万亿
Anthropic的新模型Mythos能力超强，被指或对金融业造成重大风险。鲍威尔和贝森特紧急召集华尔街开会预警。消息传出，美国软件板块暴跌，SaaS领域近2万亿美元市值蒸发。Anthropic拒绝向公众发布该模型，启动防御项目。
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
刘壮陈丹琦新作：开源通用视觉推理RL框架，0思考数据刷新SOTA
普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。
5个月估值翻10倍，AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。
AAAI 2026 Oral | 告别注意力与热传导！北大清华提出WaveFormer，首创波动方程建模视觉
北大清华团队在AAAI 2026 Oral论文中提出WaveFormer，首创用波动方程建模视觉。它将特征传播写成欠阻尼波动方程，实现频率 - 时间解耦，在多任务验证中速度、效率与精度全面超越。