「推理框架」共找到 3416 篇相关文章
拒绝「降智、减配、乱收费」：面向LLM API的可信验证框架
大语言模型成AI应用基础设施，黑盒服务模式引发信任危机。研究者提出IMMACULATE审计框架，能在不暴露模型信息、仅1%额外开销下，验证黑盒LLM API执行完整性，检测违规行为，相关论文与代码已公开。
支持持久化知识图谱！多Agent协同的革命性框架
Agent - MCP 是为经验丰富的 AI 开发者设计的多 Agent 协同框架，能解决传统 AI 开发难题。亮点有并行开发、持久化知识图谱和实时可视化协作，可让多 Agent 高效协作，避免上下文丢失和任务冲突。
小米AI语音新框架：人人都能当声音导演
小米大模型应用团队提出Midasheng - audio - generate与Xiaomi Any2Speech两大音频生成框架。前者可实现全场景声音重建，后者让AI学会理解声学空间与叙事逻辑，改变了语音合成应用场景与思路。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
腾讯15年资深后台工程师，转战大模型推理的抉择
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
告别玄学选LLM！弗吉尼亚理工选型框架入选ICML 2025
弗吉尼亚理工大学研究人员推出选型框架LensLLM，可预测微调后性能走势，解释大模型微调“玄学现象”。它基于全新PAC - Bayes泛化界限推导，降低成本近90%，被ICML 2025收录。
MIDAS：快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。
SceneWeaver：面向通用三维环境生成的反思型智能体框架
室内场景合成在具身智能兴起下愈发重要，现有方法存在局限。BIGAI提出SceneWeaver框架，通过基于工具的迭代优化统一多样场景合成范式，具有高保真模拟、强健物理交互等优势。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
开源多智能体开发框架：支持MCP、Agent SDK，超2000颗星。
著名企业孵化器Y Combinator支持的开源多智能体开发框架Rowboat，支持MCP服务和Agent SDK，几分钟就能开发复杂智能体工作流。它由Agent、Playground、Copilot组成，还支持创建面向用户的助手，在Github超2000颗星。