搜索：自回归统一结构

「自回归统一结构」共找到 1158 篇相关文章

NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍

自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。

本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。

OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。

论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。

本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。

Andreessen Horowitz (a16z) 的合伙人 Martin Casado 在对话中指出，当前AI大模型竞争格局似当年云计算大战，寡头垄断将降临。他还谈到AI对开发者、投资决策、市场格局的影响，以及对AI安全、开源等问题的看法。

上海交通大学提出SceneGen框架，可从单张场景图像及其对应目标掩码中，同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成，在效率与稳健性上优于现有方法，虽有局限但应用潜力大。

本文基于M站首页重构项目，讲述借助AI编程工具Cursor和结构化Prompt，完成从Rax到React的组件迁移、DX到React的跨端重写，实现业务逻辑优化与工程规范落地，还分析了AI提效的优劣并总结迁移范式。