搜索：双并行注意力UNet++

「双并行注意力UNet++」共找到 437 篇相关文章

2025 年最全面的 LLM 架构技术解析【长文】

Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。

Claude Code团队分享10条内部技巧，像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点，如并行运行虽提升效率但非适合所有人，投资CLAUDE.md性价比高，且强调找到适合自己的使用方式。

近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。

文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。

7月7日，ICML 2026进入正会第一天。雷峰网精选首日上午9篇论文，涵盖持续学习、多模态融合等方向，如MePo让预训练模型学会持续学习，HAF解决模态不平衡下的融合问题，展现AI研究前沿趋势。

近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。

在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。