搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

微软深夜发布SambaY架构，Phi-4min加速10倍推理

微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。

DeepSeek两天前开源DSpark推理加速框架，已在V4预览版在线服务跑真实流量，使生成速度提升60% - 85%。DSpark化解推测解码问题，在多模型超Eagle3和DFlash。V4正式版7月中旬上线，将引入峰谷定价。

本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。

最近，开发Devin的Cognition CEO发文称不要构建多智能体系统，而Anthropic分享构建多智能体研究系统，性能提升90%。Cognition认为多智能体协同难，坚持单线程线性Agent；Anthropic用工程设计绕开瓶颈。二者因任务类型不同观点有别。

文章聚焦 OpenAI 开发者优化 Skill 的方法，指出迭代 AI 技能效果难测，可借助评估系统。介绍了用 Codex 评估的流程，包括明确标准、创建技能、手动触发找漏洞等，还提及不同阶段的评估重点和工具。

商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。

上海人工智能实验室联合多所高校开源多模态一体化模型 InternVL-U，仅 4B 参数，突破现有统一多模态模型瓶颈，在复杂场景超越 14B 级模型，已全面开源，提供推理代码等。

谷歌与OpenAI对狙，谷歌发布Gemini 3.1 Flash - Lite，主打规模化性价比，专为高频场景设计，成本低、速度快；OpenAI上线GPT - 5.3 Instant，优化对话体验，减少拒答、增强联网搜索等。

Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。

在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。