「并行推理」共找到 2212 篇相关文章
其实,扩散语言模型在最终解码之前很久,就已确定最终答案
随着扩散语言模型(DLM)发展,它成自回归(AR)模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象,提出 Prophet 策略,实验显示其能在保持高质量生成时显著加速推理。
深入理解OpenClaw技术架构与实现原理(上)
文章深入解析OpenClaw技术架构与原理,它以Gateway为核心,是高度灵活的个人AI助手系统,改变了软件开发范式。涵盖统一控制平面、推理循环、定时任务等多模块。如Gateway负责消息路由等,推理循环控制运行逻辑。
Chain-of-Agents: OPPO推出通用智能体模型新范式,多榜单SOTA,模型代码数据全开源
OPPO个性化AI实验室团队推出智能体推理范式CoA及模型AFM,解决传统多智能体系统通信效率低等问题。AFM在近20项测试中刷新记录,降低推理成本,还介绍了架构、数据构建等,也指出待探索方向。
NVIDIA发布最强开源模型,效果和速度全面超越DeepSeek R1
NVIDIA推出Llama - Nemotron系列开源模型,有LN - Nano、LN - Super、LN - Ultra三款。旗舰款LN - Ultra在权威测评中碾压DeepSeek - R1等,运行效率还更高。有“动态推理开关”功能,代码数据全公开,或引发AI推理效率革命。
混合数学编程逻辑数据,一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略,基于Qwen2.5 - 7B系列模型联合训练,有多项关键发现,为构建AI推理模型提供参考。
MiroMind新模型超越GPT-5.4,三位顶尖AI科学家加盟
MiroMind发布MiroThinker - v1.7模型家族,在深度研究任务中表现出色,其专有智能体MiroThinker - H1超越多个顶级闭源模型。同时,三位顶尖科学家加盟,分别负责推理模型训练等方向,公司聚焦推理与可验证性。
OpenAI曝出第一颗芯片叫「辣椒」!AI自己设计,9个月流片
OpenAI首颗自研芯片Jalapeño问世,9个月从白纸到流片,创行业最快纪录。该芯片专为大模型推理设计,由其AI参与设计优化,有望降低推理成本,提升用户体验。OpenAI欲做全栈AI公司。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
The Batch: 859 | Qwen3 的自主智能新进展
不到两周前 Kimi K2 超越其他开源非推理模型,如今阿里巴巴发布基于早期 Qwen3 - 235B - A22B 的三款新大语言模型权重,介绍了输入输出规格、架构设计、性能表现、使用方式等,还进行了性能对比。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。