搜索：分布式Attention

「分布式Attention」共找到 128 篇相关文章

比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力

随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。

百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。

2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目，提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题，还分享多项目实操经验。

Mamba一作将演讲整合成科普长文，探讨SSMs和Transformer模型权衡之术。认为Attention非万能，Transformer是阶段性最优。几天后将发布新架构，能与Transformers兼容，还回顾了两模型特点及结合优势。

17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。

在高质量3D生成需求增长背景下，现有3D生成框架在兼顾效率和质量上有瓶颈。南洋理工大学等提出Ultra3D框架，采用coarse - to - fine两阶段流程，用Part Attention机制提升效率，支持高分辨率输出。

月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。

随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。

文章作者今年年初写好，为防盗版一直内部分享，时隔半年因Qwen2.5-VL已渗入MLLM开发各场景而公开。从源码抽图例助理解，涵盖window attention等内容，排版全文见指定链接。

智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。