搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini

加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。

微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。

香港大学黄超教授团队发布开源项目RAG - Anything，构建统一多模态知识图谱架构，解决传统RAG技术局限。它能处理多类型异构内容，提供端到端方案，有多种优势及应用模式，还给出部署指南和未来展望。

Coze开源了Coze Studio和Coze Loop项目，前者工作流完整，有工作流引擎和插件框架；后者可调试、优化Prompt。采用Apache 2.0许可，适合个人和企业，还介绍了参与开源项目的方法及开源原因。

商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。

2026年4月27日，中山大学HCP实验室研发的PhyAgentOS开源框架，助力11岁开发者Arjun获全球Physical AI技术挑战赛冠军。该框架降低开发门槛，打通执行闭环，加速具身智能落地。

SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。

在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。

大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。

OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B，用于安全用例。有安全推理训练、自带策略等亮点，适配不同显存，采用宽松许可证。