「推理系统优化」共找到 4331 篇相关文章
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
游戏研发中的 AI 转型：网易多 Agent 系统与知识工程实践
本文整理自网易游戏高级技术经理林香鑫分享，其团队通过代码知识谱图构建、多 agent RAG 召回等技术打造超级助手，在多业务场景落地效果好。还介绍知识工程、多 Agent 赋能代码编写、AI 审查等实践及未来展望。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
Meta发布Omnilingual ASR：支持1600+语言的开源语音识别系统
Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。
Agent下半场！比Prompt更重要的是「上下文工程」，Anthropic首次系统阐述
Anthropic发文章阐述上下文工程，指出构建语言模型重点正从提示工程转向上下文工程，探讨了其与提示工程区别、重要性，给出实践指导原则、新趋势及应对长时程任务策略。
开源基金会：使用 Apache Iceberg 和 SparkSQL 构建可复制的 ML 系统
文章指出传统数据湖在机器学习工作负载的事务保证和版本控制方面表现不佳，而 Apache Iceberg 与 SparkSQL 结合，能带来数据库般的可靠性。文中介绍其优势、构建可重现特征管道方法、生产实施案例及相关最佳实践等。
深入体验 A2A SDK：一步步教你构建“服务化”的 Agent 系统
文章基于A2A最新Python - SDK，介绍将LangGraph的Agent通过A2A协议对外暴露并服务的方法，涵盖核心架构、概念、交互流程，以及A2A Server端、Client端实现和测试总结，还提及A2A优势。
博士学位答辩PPT分享 | 基于神经网络的偏微分方程优化求解方法研究
本文聚焦基于神经网络的偏微分方程优化求解方法，指出传统数值求解范式有局限，物理信息神经网络（PINNs）虽有潜力但面临瓶颈。作者从多方面研究，形成工程流动问题分析框架与改进方法。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。