「扩散Transformer架构」共找到 2140 篇相关文章
扩散模型自引导新范式:直接交换token就能变强! | CVPR‘26 Oral
上海交大和vivo研究者提出自交换引导(SSG),不依赖文本条件、不加噪声、不改模型,只交换token特征。在多数据集实验中,SSG表现超现有方法。不过,其缺理论支撑、计算开销大。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
Claude强到不敢发的Mythos,被质疑用了字节Seed技术
Claude最强“神话”模型Mythos引发猜测,或用了字节Seed技术。社区热议其是否采用循环语言模型架构,关键线索来自Anthropic测试数据,在图搜索测试中Mythos优势明显,还有其他线索指向循环架构。
Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构
文章围绕 OpenClaw“失忆”问题展开,由代码库维护者拆解其记忆架构。通过 Meta 删邮件事故引出代理记忆问题,分析记忆四层结构、三种失败模式,给出应对建议,还介绍检索工具、配置及故障排除方法。
硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】
本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。
微信技术架构部斩获CVPR 2025大赛冠军,攻克AI图文匹配评估难题
微信WXG技术架构部IH-VQA团队在CVPR2025大赛夺冠,首创iMatch图文匹配质量评估方案。文中介绍赛事背景、规则,团队通过双模型驱动等策略获胜,还构建iMatch-Benchmark评估主流T2I模型。
POF | 上海理工大学梁梓浩、朱兵等:使用大语言模型进行气泡湍流实验数据处理
本文提出结合大语言模型(Time - LLM)与Transformer模型的复合框架处理气泡两相流热膜测量信号干扰。先由Time - LLM识别气泡干扰信号,再用Transformer模型修复。实验证明该方法高效、轻量且物理自洽。
破解空间智能数据稀缺难题,影石开源DiT架构全景生成模型,在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360,设计分层混合训练框架,结合透视与全景图像数据,提升真实感和几何一致性。它支持多任务,优于现有方法,为三维场景生成提供新思路。
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。