「自回归架构」共找到 2864 篇相关文章
端到端语音模型：从语音表征到模型架构
本文整理自阶跃星辰语音模型负责人杨学锐在2025年QCon全球软件开发大会的分享。介绍大模型对语音技术的重塑，涵盖识别、合成等方面；阐述端到端语音模型构建，涉及表征、架构、训推和任务；还提及模型评估方法。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
一种可以减少 CI 回归测试套件规模的更佳方案
作者作为测试架构师，认为减少CI回归测试套件规模理论诱人但实践常失望。介绍有效处理大型测试套件的方案，如随机趋势分析、多上下文模式匹配等，还谈及无门控测试等优势，能助力管理测试集。
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
华为升级行业Agent算法架构！MindScale自己写prompt和工作流，KV Cache减少5.7倍token
华为诺亚方舟实验室更新面向行业应用的算法包MindScale，融合算法创新与业务实践经验。它梳理了Agent时代技术挑战，给出技术论文与昇腾代码，应对工作流维护等难题，还提升训推效率、适配国产硬件。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
复盘小鹏机器人风波：当一个机器人需要“自证清白”｜甲子光年
本文复盘小鹏机器人IRON风波，从科技日发布现场无人质疑，到网络舆论质疑造假，何小鹏亲自下场自证。还分析了公众质疑原因，介绍机器人技术，指出行业应回归应用本质，小鹏IRON将优先进入商业场景。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
别等GPT-5了！普林斯顿万字综述揭秘：我们要做自进化Agents！
普林斯顿大学联合多顶尖机构发表“自进化智能体”综述，描绘AI从静态工具演变成自我学习迭代智能体的过程，拆解其进化核心维度，介绍触发进化机制的时机、修炼方式及应用方向。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。