「分支注意力」共找到 260 篇相关文章

新闻资讯7

基金委鼓励AI与力学各个方向的交叉和融合

基金委鼓励AI与力学各方向交叉融合。力学含多分支学科,在各领域研究中,既支持基础前沿研究,推动与新兴领域交叉,又重视与重大需求融合,还鼓励利用现有条件研发软件和仪器。

力学与人工智能
开源动态8

Transformer创新架构SALA:上下文更长,推理更快

面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用,MiniCPM - SALA 在长文本处理及推理上表现出色,还发起大奖赛探索性能极限。

PaperAgent
新闻资讯7

OpenAI 开源模型泄露:六大技术细节

OpenAI 可能发布的开源大模型细节泄露,包含两款模型,1200 亿参数 MoE 模型和 200 亿参数稠密模型,专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

AI寒武纪
推荐文章7

代码怎么才能跑的更快

文章围绕让代码跑更快展开,先介绍调整源代码的方法,如降低循环开销、去除内存引用等,又阐述使用硬件加速指令,像用 SIMD 函数、避免分支语句等,还提及多核并行和分析瓶颈等要点。

阿里云开发者
产品应用8

阿里Qwen3.5小模型发布:0.8B参数就能处理视频,边缘AI时代真的来了

阿里通义千问发布Qwen3.5系列四款小模型,采用Gated DeltaNet混合注意力机制。有原生多模态设计,解决“内存墙”问题。在多基准测试中表现出色,开发者反响好,但也存在幻觉级联、调试局限等问题。

AI工程化
算法论文8

视听分离SOTA提速6倍!清华发布首个6M高性能模型|ICLR'26

清华大学团队推出Dolphin模型,仅用6M参数,通过离散化视觉编码和热扩散注意力机制,实现单次推理精准分离语音,速度提升6倍以上,在多项基准测试中刷新纪录,为端侧设备部署开辟新路。

新智元
算法论文8

TPAMI | DC-SAM:打破SAM交互限制,基于循环一致性的图像与视频上下文分割方法

北京邮电大学联合南洋理工大学等机构发表论文,提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分,实验在多基准测试获 SOTA 性能,为视觉大模型落地提供方案。

机器之心
新闻资讯7

OpenAI发布GPT-5.1 Codex Max,编程能力比Gemini 3更强、更持久

为换回注意力,OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro,还实现24小时项目级开发。引入自动压缩与扩展推理改进,效率提升,现已多途径可用,API访问将开放。

AI工程化
算法论文8

训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命

英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。

新智元
开源动态8

Qwen3-Next:迈向更极致的训练推理性价比

文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型,通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势,还说明使用方法,包括在多平台部署及处理超长上下文,展望持续优化架构。

通义千问Qwen