「分布式推理系统」共找到 3593 篇相关文章
DeepSeek-R1 更新，思考更深，推理更强
DeepSeek R1 模型完成小版本升级至 DeepSeek - R1 - 0528，用户可在官网、APP 等体验，API 同步更新。该版本强化深度思考能力，在多基准测评表现优异，还改善幻觉、提升创意写作等能力。
整体工程：有机解决复杂演进系统中的问题
软件开发中项目延期、架构偏离等问题，常由非技术力量导致。整体工程将这些力量纳入技术决策，能解决复杂演进系统问题，还介绍了实践方法及好处。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
SDD 如何在复杂业务系统中真正落地？
文章围绕SDD在复杂业务系统落地展开，介绍OpenSpec库使用，对比与系分差异，分析其优势与问题，如LLM与IDE执行能力鸿沟、无update命令等，还对比OpenSpec和GitHub Spec Kit，并给出流程及提示词。
在校生开发，榨干 win 系统全部带宽！
介绍在校生开发的开源工具 HypoMux，它面向 Windows，能把多张网卡「绑」在一起，让下载任务多线路并行。有双模式可选，还能智能分流，兼容主流加速器。操作简便，可解决下载慢问题。
首发 | 陈天桥盛大团队，推出最强开源记忆系统EverMemOS
EverMind团队发布面向人工智能智能体的长期记忆操作系统EverMemOS。它在主流评测集表现超此前工作成新SOTA，受人类大脑记忆机制启发设计，有四层架构和三大特点，已开源，后续将推云服务。
斯坦福开源复杂推理AI Agent，融合超10种工具
传统AI助手应对复杂任务能力有限，斯坦福开源OctoTools，这一复杂推理AI Agent融合11种工具。它在16项基准测试中准确率高，能应对多领域复杂场景，框架含工具卡片、规划器等构件。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AI Spot 学术分享会丨ICLR 2026 深度推理专场
当大模型走向深度推理，ICLR 2026 汇聚全球顶尖成果。OpenMMLab 等联合发起 AI Spot ICLR 2026 学术分享会，5 月 14 日 19 点直播，聚焦模型‘慢思考’，嘉宾将解读四大核心技术。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。