「推理系统优化」共找到 4344 篇相关文章
减少检索增强生成（RAG）语义缓存中的误报：以银行业为例
文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。
模型一个没换，正确率翻了近三倍，这个项目有点东西啊！
GitHub开源项目AutoResearch用同一模型答题，其EvoMap蜂群模式使正确率近三倍于单Agent和常见Sub - Agent模式。它是多Agent评审系统，靠蜂群机制让AI自动科研，还有诸多防幻觉等特点，能用于多场景优化。
全球首个科研LLM竞技场上线！23款顶尖模型火拼：o3夺冠，DeepSeek第四
Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
吴恩达年终总结：2025是AI工业时代的黎明
吴恩达发表2025人工智能年度总结与公开信。总结指出，今年推理模型性能提升但有成本，AI人才争夺激烈、薪酬高，数据中心建设投入大，智能体让编程更高效。信中建议通过学课程、动手实践和读论文构建AI系统。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
解析天花板？TextIn xParse如何为RAG打造「零损耗」知识管道
在AI应用发展中，LLM与RAG系统成核心引擎，但项目落地时模型表现常难达预期，根源在于文档解析质量。TextIn xParse能为RAG打造‘零损耗’知识管道，本文从多方面对其解析能力进行了解读。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
Nanbeige4.2-3B：探索通用Agent小模型
在模型越做越大的当下，推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B，在架构、数据构造和训练pipeline层面做了系统工作，评测表现良好，还探索本地个人助手等应用。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。