「多步推理」共找到 5589 篇相关文章
长文本推理 5 倍提速！面壁MiniCPM4 端侧模型发布，0.5B模型效果秒杀同级
近日，面壁发布 MiniCPM4.0 端侧模型，有 8B、0.5B 两种规模。其在基准测试表现出色，长文本推理提速，缓存锐减，还做了架构创新。此外，面壁有自研推理框架，科学化建模产线，6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
打破视觉Token的算力诅咒，RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
Salesforce 最新研究：LLM 智能体 CRM 测试成功率低至 35%，保密意识还低，企业敢用吗？
Salesforce AI 研究团队新基准测试显示，LLM 智能体在 CRM 测试中表现欠佳，单步任务成功率约 58%，多步任务降至 35%，且保密意识低，与企业需求差距大。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。
推理之父走了！OpenAI七年元老离职：有些研究这里没法做
新年伊始，OpenAI研发副总裁Jerry Tworek离职，他是编程和两大核心技术路线奠基者，攻克LLM编程和复杂推理商业化难题。他称想探索在OpenAI难开展的研究。此前已有多位核心人才出走，OpenAI或因商业化与安全问题留不住人。