「多头潜在注意力」共找到 288 篇相关文章
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
生成式推荐！推荐系统新范式还是新噱头？【文末抽现金红包】
文章探讨生成式推荐是新范式还是噱头。分析其与判别式推荐区别、效果收益来源，结合Meta GR、快手OneRec实例，指出其有提升但非万能，不同团队应按需选择，还提及可能带来架构革新。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
马斯克的作业还是被奥特曼「抄走了」
奥特曼宣布几周内发布ChatGPT新版本，12月推成人模式，让其重获个性化“灵魂”。这似在抄马斯克Grok作业，背后是为AI产品增长，当下AI之战已演变成争夺用户注意力和多巴胺的战争。
AIAA J | 香港理工大学王旭等：目标导向的特征提取-以特征构建增强数据驱动模型
该论文通过对比学习理清潜在输入特征与目标输出的关联性，提出输出驱动的输入特征构造方法。所构造特征在高维代理模型构建中增强效果显著，还可减少预测误差分布及不同模型收敛性和鲁棒性差异。
刚刚，光刻机霸主ASML被曝成为Mistral最大股东！网友怒斥：ASML的钱将打水漂
9月7日消息，ASML注资15亿美元成Mistral最大股东，旨在加强欧洲科技主权。此轮融资或使Mistral估值达140亿美元。业内认为这是战略押注与潜在协同。网友看法不一，而Mistral因开源和团队背景受关注。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
深度解读 DeepSeek V4.1 Flash 全新架构，如何成为显存杀手
本文深度解读DeepSeek最新发布的V4.1 Flash大模型，详解其全新CED架构与第二代压缩稀疏注意力CSA2，揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本，在长上下文Agent场景实现性能反超的细节。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。