「推理思维」共找到 2221 篇相关文章
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
OpenAI重新开源！深夜连发两个推理模型，o4-mini水平，笔记本、手机可跑
OpenAI 自 GPT - 2 后重新开源，此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平，可在笔记本、手机运行，有宽松许可等亮点，在多测试中表现出色。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
前沿模型被曝年度重大漏洞：加密思维链可被轻松提取，GPT，Claude，Gemini 无一幸免
一篇 116 页论文揭示前沿模型思维链重大安全漏洞，Anthropic、OpenAI、Google 的 API 因架构问题，模型隐藏推理过程可通过两次 API 调用被大规模提取，还会带来多种安全威胁。