「分布式推理系统」共找到 3593 篇相关文章
Agent记忆系统：6大核心操作全景解读
自LLM进入Agent时代，记忆模块成研究重点。以往研究有缺憾，作者提出全面AI记忆研究框架，对记忆表示分类，引入六种基本记忆操作，并映射到多方面，还阐述各部分具体方法。
Anthropic 推出 MCP 隧道，供私有代理访问内部系统
Anthropic扩展Claude Managed Agents平台，推出自托管沙箱和MCP隧道功能。自托管沙箱公测，支持多服务商运行工具；MCP隧道处研究预览，可让代理连私有MCP服务器，满足企业管控需求。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
今年看到最系统的AI Agents时代Memory综述~
分享由NUS、人大等联合出品的《Memory in the Age of AI Agents: A Survey》。用三维框架讲透200+篇论文，提出新三大记忆形态，展望7大前沿，还涵盖记忆各方面知识及资源。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
张小珺对话OpenAI姚顺雨：生成新世界的系统
OpenAI研究员姚顺雨在播客访谈中分享诸多新颖观点。他认为创业公司机会在设计新交互方式，未来或产生超越ChatGPT的超级应用；还指出语言是实现泛化的工具，强化学习有泛化趋势，智能边界由不同超级应用共同定义。
生成式推荐！推荐系统新范式还是新噱头？
文章围绕生成式推荐展开，介绍其概念，探讨效果和成本问题。以Meta的GR和快手的OneRec为例，分析收益与开销，指出不同团队应用情况，认为它或带来架构革新，也提醒勿盲目跟风。
具身智能迈入下半场，RoboMemArena全面评测机器人记忆系统
香港科技大学（广州）等多机构打造具身智能评测基准 RoboMemArena，突破传统局限，构建综合评测体系，配套真机测评。它提供多模态标注，任务长程多样，开源资源易用，PrediMem 在其上表现出色。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。