搜索：双Transformer架构

「双Transformer架构」共找到 2068 篇相关文章

阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天

阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。

传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。

英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。

新加坡国立大学和Lowart AI发布OmniPSD，利用Diffusion Transformer架构解决分层图像生成与拆解难题，实现可编辑PSD文件输出。它能通过文本生成分层PSD文件，也能拆解单张平面图像，解决AI生成图像难编辑痛点。

英伟达黄仁勋在采访中强调其是加速计算公司，非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出，token 是新通货，还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。

马斯克将X平台（原Twitter）「为你推荐」信息流算法开源，不到一天冲到5000 Star。该算法将站内与站外内容合二为一，用基于Grok的Transformer模型统一排序，移除手工特征与大部分启发式规则。

字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。

阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。

美的AI研究院和华东师范大学联合提出ChatVLA - 2模型，引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%，远超现有方法，为通用机器人控制提供新思路。

英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。