「分布式推理系统」共找到 3593 篇相关文章
首个基于MCP 的 RAG 框架：UltraRAG 2.0用几十行代码实现高性能RAG， 拒绝冗长工程实现
检索增强生成系统（RAG）复杂度提升，工程实现成本高。清华大学等联合推出首个基于MCP架构的UltraRAG 2.0，组件化封装、调用扩展灵活，低代码实现高性能，可用于科研和行业应用。
ICML 2026 | 拒绝盲目猜token，阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
The Batch: 866｜GPT-5 起飞遇乱流
OpenAI推出GPT - 5及其系列模型，涵盖多种类型，有新功能与性能提升。但发布中路由器故障等问题让用户失望。它在部分基准测试表现佳，不过抽象推理能力有不足，还回顾了发布历程。
Meta打开AI元认知，让AI不止会解题，还会总结套路了
Meta等机构提出‘元认知重用’机制，让大模型学会反思总结。大模型打造‘行为手册’，与主流RAG系统有本质区别。研究人员设计三种实战用法，虽有局限，但为大模型推理难题提供了解决方案。
清华首提通用大模型滤波方法，实现零样本状态估计｜NeurIPS'25
清华大学李升波教授团队在NeurIPS 2025提出LLM - Filter通用滤波器，将状态估计融入大语言模型推理框架。它能解决传统方法泛化性差问题，在未见过系统中实现零样本状态估计，有望成基础模型。
首家AIOS落地来自vivo：个人化智能复刻人类思维，手机还能这样用
2025年vivo开发者大会展示全新端侧AI能力，提出蓝心3B端侧多模态推理大模型，融入OS底层，实现系统级智能。其AI OS打造“个人化智能”体验，还开放生态，携手开发者推动AI应用落地。
DeepSeek不惜代价保住它！V4关键特性被挖出来了
DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。
DeepSeek-R1超级外挂！“人类最后的考试”首次突破30分，上海交大等开源方案碾压OpenAI、谷歌
上海交大联合深势科技团队发布新研究，在“人类最后的考试”（HLE）上获32.1分创纪录。团队推出工具增强推理智能体X - Master、多智能体工作流系统X - Masters并开源，方案表现优于OpenAI、谷歌相关模型。
智谱公布“降智”的秘密：Scaling不可避免的痛
智谱最新技术博客大倒苦水，称从GLM - 5以来遭遇「Scaling Pain」。团队排查出高负载下推理状态管理等问题致异常，还给出避坑指南，如在线异常监控策略，优化后系统更稳定，吞吐量提升。