搜索：推理算法优化

「推理算法优化」共找到 3340 篇相关文章

推理速度飙升5倍，苹果提出全新Multi-Token生成框架！

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。

文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。

这是基于Javascript的纯浏览器端Gemini AI图像无损去水印工具，用反向Alpha混合算法，有纯浏览器端处理、隐私保护等特性，介绍使用方法、算法原理等。

作者分享将 Agent 工程化设计的历程。指出 LLM 做 Agent 有痛点，引入 CLI 接管确定性任务和上下文管理，还设计了 Workflow 串联工具，实现自动扩展和无缝互转，最后做 workflow - creator 形成自洽闭环。

为提升 Dropbox Dash 生成回复的相关性，工程师采用大语言模型辅助人工标注。该方案解决了纯人工标注的局限，通过人工校准大语言模型标注的方法，为 RAG 系统提供了有价值参考。

本文聚焦基于神经网络的偏微分方程优化求解方法，指出传统数值求解范式有局限，物理信息神经网络（PINNs）虽有潜力但面临瓶颈。作者从多方面研究，形成工程流动问题分析框架与改进方法。

SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。

月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战，如故障多、资源利用低等，还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。

在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。