「推理服务基础设施」共找到 2930 篇相关文章
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
编程脚手架狂揽 20 万星，Agent 基础设施成 GitHub 新战场
近日，GitHub Trending 榜首的「obra/superpowers」飙到近 20 万星。它是 AI 编程脚手架，能让 AI 按专业流程产出高质量代码，解决开发者难题。GitHub 上 Agent 基础设施项目爆发，各公司也在布局，工程标准争夺激烈。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
北大开源统一世界模型框架：多类合成推理任务一套搞定
世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。
登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini
加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。
突发！Anthropic “封杀”中国控股公司，禁止其使用Claude等AI服务
9月5日，Anthropic宣布禁止多数股权由中国资本持有的集团或子公司使用Claude。政策调整涉及多种中国背景企业，也适用于美“对手国家”，还意在遏制中方获取先进AI技术，引发行业关注。
当模型成为公共基础设施，特赞如何架构企业级 Agentic AI？
当大模型成公共基础设施，企业需构建围绕业务结构的智能系统架构。特赞提出的 GEA 企业级智能体架构体系，围绕企业业务运行结构设计，能让智能体参与企业经营判断。