「混合注意力」共找到 412 篇相关文章
阿里Qwen3技术报告核心要点解读！
阿里Qwen3技术报告发布，披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构，预训练数据量和语种增多，后训练采用强到弱蒸馏提升性能，各模型表现优异。
5Y News | 祝贺曦智科技今日登陆港交所！
4月28日，曦智科技-P在港交所主板挂牌上市，成全球AI硅光芯片第一股。上市首日股价涨幅大，市值达813亿港元。其由沈亦晨创立，在光电混合算力领域领先，募资将聚焦主业研发。
紫东太初开源视觉神经增强方法，即插即用终结多模态幻觉 | ACL 2025
中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。
业务逻辑的“坍塌”：当应用层只剩下胶水代码，在 AI Agent 时代，我们该构建什么
作者梳理从“怀疑AI”到“理解并驾驭AI”的心路，探讨LLM不确定性、AI开发概念，手搓Agent示例介绍开发关键点，分析LangChain价值，思考混合架构，还从性能视角看LLM，回顾其关键跃迁。
追平GPT-4o，数学基测96.3%高分，Hermes4 来了
Nous Research推出新一代大模型Hermes 4系列，其有混合推理和长度控制机制，还能用DataForge“造”数据，经Atropos质检。它在数学等领域表现佳，追平GPT - 4o，是开源AI对巨头的挑战。
CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范式开源
当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。