「架构实验」共找到 3008 篇相关文章
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
Agent进入下一篇章！Alita：不靠人工预设，自己造工具，成绩碾压OpenAI
当前AI Agent依赖人工预设，存在工具不够用、缺乏创造力、兼容性差等问题。Alita秉持少预设多进化理念，用MCP协议，架构含三大模块，实验成绩超OpenAI，还能让小模型提效。
具身智能从此「边听边说」，智源研究院开源原生全双工语音大模型RoboBrain-Audio
北京智源研究院联合多方发布原生全双工语音对话大模型 RoboBrain - Audio，采用新架构和创新训练范式，在性能上全面领先，革新音频 - 文本对齐方式，丰富了 RoboBrain 全栈体系，推动具身智能发展。
微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好
随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。
ICLR 2026｜滑铁卢大学联合可灵提出UniVideo：统一视频理解、生成、编辑多模态
滑铁卢大学与快手可灵团队提出 UniVideo，是支持视频理解、生成与编辑的多模态模型。它采用双流架构，结合 MLLM 与 MM - DiT 能力，统一 10 个多模态任务，在多项基准超现有方法，代码已开源。
刷榜多元时序预测，性能波动0%！打破CI/CD二元对立 | ICLR'26
在多元时间序列预测领域，长期存在通道依赖（CD）与通道独立（CI）路线之争。浙江财经大学团队提出CPiRi框架，结合时空解耦架构与置换不变正则化策略，解决范式矛盾，取得优异效果。
经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决
在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。
Lumina-mGPT 2.0：自回归模型华丽复兴，媲美顶尖扩散模型
上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
阿里SkillClaw：让 Agent 技能在真实使用中集体进化
当前LLM Agent依赖可复用技能完成任务，但技能部署后静态不变，改进仅停留在当前会话。阿里SkillClaw提出中心化进化架构，将多用户交互作为技能改进信号，通过Agentic Evolver更新技能，经夜间验证后部署。