「有状态推理」共找到 7668 篇相关文章
斯坦福开源复杂推理AI Agent，融合超10种工具
传统AI助手应对复杂任务能力有限，斯坦福开源OctoTools，这一复杂推理AI Agent融合11种工具。它在16项基准测试中准确率高，能应对多领域复杂场景，框架含工具卡片、规划器等构件。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AI Spot 学术分享会丨ICLR 2026 深度推理专场
当大模型走向深度推理，ICLR 2026 汇聚全球顶尖成果。OpenMMLab 等联合发起 AI Spot ICLR 2026 学术分享会，5 月 14 日 19 点直播，聚焦模型‘慢思考’，嘉宾将解读四大核心技术。
微软预览 Foundry Agent Service 长期记忆功能，简化状态管理
在年度 Ignite 大会上，微软宣布公开预览 Foundry Agent Service 中的记忆功能，这是全托管长期记忆存储，与代理服务原生集成。开发者可存储、检索和管理关键上下文，系统自动处理复杂“管道”。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
分享两篇Claude Skills最新论文，有3个核心结论
文章分享两篇Claude Skills最新论文，总结出技能安全漏洞、技能数量与准确率关系等结论。还探讨单智能体技能系统能否取代多智能体，通过实验验证其效率优势，并提出解决技能选择过载的方案，也对Agent Skills做了安全分析。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
给 Agent 接搜索功能，有哪些「坑」需要特别注意？
搜索是AI产品标配，但给AI接搜索不易，给人用和给AI用的搜索差异大。信息检索质量影响Agent推理与任务完成度。邀请小宿科技相关人员聊给Agent接入搜索能力，10月30日20点线上闭门活动可扫码报名。
Anthropic最新博客：MCP没有死，我们又救活了。
2个月前Eric Holmes认为MCP已死，因其有Token成本等问题且LLM本就会用命令行。但本周Anthropic发博客称想清MCP定位，它不是替代CLI，而是覆盖其到不了的地方，还给出改进方案，MCP月下载超3亿次。