「推理服务基础设施」共找到 2930 篇相关文章
从 Langchain 到 Spring AI，我们究竟需要怎么样一个企业级 AI 开发基础设施？
文章指出AI Agent应用开发方式演变快，企业构建AI Agent体系面临挑战。介绍了AI Agent应用架构变化及趋势，如AI应用平台低代码效应、框架与平台双轨并行等，还总结了四类AI Agent框架及企业级框架平台核心考量。
3D-R1重塑三维视觉语言推理！让三维交互更智能
近年来，视觉 - 语言模型在2D图像理解有突破，但3D视觉语言模型面对复杂场景不足。为此上海大学团队提出3D - R1模型，它基于新数据集和策略构建，有强多任务三维理解能力，不过也存在进步空间。
数学编码超越O3-high，英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。
推理与操控能力双提升！具身机器人双系统VLA模型新突破
香港中文大学等联合提出Fast - in - Slow（FiS - VLA）统一双系统VLA模型，实现快慢系统融合。在真机和仿真测试中，成功率和控制频率提升显著，泛化能力强。未来计划探索动态调参机制。
1899个MCP服务安全研究：7.2%存在漏洞，5.5%暗藏「工具投毒」
研究人员对1899个开源MCP服务器扫描，发现7.2%项目有漏洞、5.5%遭工具投毒。MCP虽成事实标准且发展好，但代码质量堪忧，传统安全工具难检测其风险，为生态敲响警钟。
突破通用领域推理的瓶颈！清华NLP实验室强化学习新研究RLPR
现有基于可验证奖励的强化学习（RLVR）应用范围局限，清华自然语言处理实验室提出 RLPR 技术，通过 Prob - to - Reward 提高概率奖励质量，有领域无关等特点，相关代码等已开源。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。