「推理性能优化」共找到 4157 篇相关文章
仅需一个混频器的无线射频机器学习推理，登上Science Advances！
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
首次综述「边-云协同计算」，分布式智能与模型优化的最新进展
边缘 - 云协同计算整合边缘节点和云端资源，解决传统云计算问题。最新综述论文系统梳理其架构设计、模型优化等方面，提出统一框架，还指明未来研究方向，如大语言模型部署、6G整合等。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
当行业争论30B能否挑战万亿参数时，清华、人大、面壁智能与OpenBMB联合研发的AgentCPM-Explore开源，基于4B参数在深度探索任务表现出色，还开源配套平台，解决小模型性能提升难题。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒！
当全行业争论30B能否挑战万亿参数时，清华大学等联合研发的AgentCPM - Explore智能体模型用仅4B参数，在深度探索类任务有出色表现，且开源全流程配套工具，打破小模型性能局限。
模仿人类推理修正过程，阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。
Sand.ai开源发布MagiCompiler：突破局部编译界限，定义训推性能上限
大模型开发者面临速度与显存的两难选择，原生torch.compile有局限。Sand.ai开源MagiCompiler，突破传统编译界限，提出Compiler as Manager理念，解决算力与显存墙难题，性能实测亮眼，且接入简单。
不止于快！美团新推理模型正在重新定义「实用主义AI」
美团发布并开源推理模型 LongCat-Flash-Thinking，它在权威测评表现突出。该模型有多项创新，能更快、更能干、更可靠。其将技术实力转化为业务服务能力，实战测试表现佳，体现美团实用主义 AI 路径。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。