「堆叠自回归」共找到 1219 篇相关文章
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
设计师大解放！清华发布「建筑平面图」自动生成模型 | ACL'25
清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
专治Demo玩家：「具身灵巧操作奥林匹克」大赛三项第一，全被国内这家公司拿下
星动纪元凭借自研VLA具身智能模型，在具身界灵巧操作奥林匹克Benjie's Olympics大赛中，于翻袜子（银牌难度）、开锁和剥橘子（金牌难度）三项任务上击败技术领先者PI，拿下全球第一，展现全栈技术优势。
VLA进化后降维打击！双手拣货，漂移操作，还能批量化秀舞，太空舱直接开上街，被银河通用卷到了
世界机器人大会上，银河通用的人形机器人Galbot在具身智能小卖部营业，背后是自研端到端具身智能大模型。其与英伟达联合首发的机器人应用表现出色，太空舱也在北京首发，适配多场景，具身大模型商用能力获认可。
英伟达拟 10 亿美元砸向这家 AI 编码创企！Copilot 技术大佬带队、成立两年估值近千亿
10月30日彭博社报道，英伟达拟最高投10亿美元给AI创企Poolside，此轮融资或使其估值翻四倍。该公司由微软技术大佬带队，开发AI编码助手，创建强化学习法训练模型，从底层自研，有独特优势。
从“云原生”到“智能原生”，AI中间件走到哪一步了？
InfoQ直播栏目邀蚂蚁集团专家探讨AI中间件基建，指出其核心价值，如降低开发门槛等。还谈及云原生到智能原生的转变、记忆服务定位、自研必要性等，分析未来挑战与方向，10月上海QCon大会将聚焦相关话题。