搜索：层级并行解码

「层级并行解码」共找到 369 篇相关文章

OpenAI解密大模型失控：它不是变坏，而是「太听话」

OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。

在达沃斯论坛上，微软 CEO 萨蒂亚·纳德拉与英国前首相聚焦 AI 应用话题。他以自身参会准备工作变化，说明 AI 打破传统层级架构。还指出企业 AI 应用有‘杠杆效应’，人才差距在应用推进力度，判断泡沫关键在于落地。

9月2日，英伟达技术博客上线《用投机解码做AI模型协同设计》，给出推理加速选型表。列入指南的核心方案多由华人团队主导，介绍了从外置草稿模型到n - gram查表法等方案，还提到硬件常数对模型架构的约束。

本文用一张「组织透视镜」，带你看清英伟达36人的角色分工、黄仁勋的管理逻辑，以及它对AI时代公司的启发。黄仁勋以扁平化直管36位高管，减少层级，让信息流动，使公司保持创业般的冲劲。

本文介绍瑞典法律AI公司Legora，其获1.5亿美元C轮融资，估值18亿。它让律师与AI并行工作，产品覆盖审查等环节。文中还阐述法律科技变革，以及其商业模式、竞争风险、团队文化和全球化策略等。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

作者团队经历从提示词工程到流程编排模式各阶段，现设计架构升级，选用层级指挥模式的React框架，实现单智能体对工具调用的反思规划，后续还将迭代实现多智能体协作，同时提及技术选型、系统架构等内容。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。

月之暗面发布并开源K2.6，重点升级代码能力与多Agent协作的“Agent集群”能力。K2.6在Artificial Analysis上取得全球开源第一，实测能并行交付多格式成果，还展现出强大的全栈应用开发能力。

自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。