「大模型推理系统」共找到 9002 篇相关文章
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
Anthropic新模型偷「吃瓜」！最强Fable 5爆冷
Anthropic提前曝光两个新模型claude-mashmallow-eap和claude-melon-eap，早期实测Marshmallow更佳。此前上线的最强Fable 5爆冷，企业调用少，营收低，其弟Opus 5反而胜出，开源模型也在抢占份额。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
Anthropic重磅研究：250份文档就能 “搞垮” 大模型？
Anthropic等团队发布研究，进行大规模投毒攻击模拟。结论是投毒大模型所需‘毒药’数量与模型大小和干净数据量无关，取决于投毒文档绝对数量，250份就能‘搞垮’模型，改变了对AI安全的认知。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
大模型IMO25数学竞赛成绩公布了
大模型挑战IMO 2025成绩出炉，Gemini 2.5 Pro以超30%总成绩断崖式领先，超出第二名89%。测试由MathArena组织，采用统一环境和双人匿名评估。还介绍了测试模型、题目及模型表现，人类版结果预计本周六发布。
刚刚，GPT-5 横扫编程奥林匹克，5 小时打穿 12 题！人类最强队伍只能做出11道
2025年国际大学编程竞赛世界总决赛（ICPC）上，GPT - 5和OpenAI实验推理模型5小时解完12道题，超越人类最强队伍。Google DeepMind的Gemini 2.5 Deep Think获10/12。此成绩展示推理系统惊人进步。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。