「双并行注意力UNet++」共找到 437 篇相关文章
AI证伪百年数学猜想被打假！Lean证明惊现漏洞，哥大教授破防了
OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
ACL 2026 | LCA：DeepSeek 长文本加速神器，90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力（LCA），入选 ACL 2026。LCA 突破传统注意力机制瓶颈，适配不同大模型，降低硬件门槛与成本，提升推理效率。论文与代码已开源。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。