「系统级优化」共找到 3448 篇相关文章
如何实现RAG与MCP集成
文章聚焦RAG与MCP集成,介绍RAG突破传统模型局限及不足,引出Agentic RAG。阐述MCP革新AI工具连接方式,结合二者构建集成架构,还给出实现步骤、优化策略与代码实践,为释放AI系统潜力提供方案。
相比层出不穷的 Agent 框架,不变的 Agent Protocol 是什么
文章围绕 Agent Protocol 展开,指出框架更迭但生产级 Agent 系统问题不变。以 Agent Protocol 为主线拆分 Agent Runtime,探讨其核心、稳定对象、执行模型等,还对比各框架在多维度的表现并给出设计建议。
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
联合理解生成的关键拼图?腾讯发布X-Omini:强化学习让离散自回归生成方法重焕生机,轻松渲染长文本图像
图像生成领域,自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型,通过强化学习提升自回归图像生成质量,能渲染长文本图像。该模型已开源,还构建奖励系统评估生成质量。
千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。
不做手机缩小版:AI 健康记录迁到手腕,要跨过哪些工程鸿沟?
文章围绕HarmonyOS的穿戴应用,如‘小卡健康’等,探讨将AI健康记录迁移到手腕面临的工程挑战。介绍了应用场景、系统能力调用,以及从接口到产品可用需解决的问题,强调要以用户体验为导向进行产品优化。
减少检索增强生成(RAG)语义缓存中的误报:以银行业为例
文章围绕检索增强生成(RAG)语义缓存展开,指出其虽能提升效率,但设计不当会产生假阳性。以金融服务FAQ系统为例,经多组实验,发现缓存设计比模型优化更能减少假阳性,还给出未来架构路线图。
模型一个没换,正确率翻了近三倍,这个项目有点东西啊!
GitHub开源项目AutoResearch用同一模型答题,其EvoMap蜂群模式使正确率近三倍于单Agent和常见Sub - Agent模式。它是多Agent评审系统,靠蜂群机制让AI自动科研,还有诸多防幻觉等特点,能用于多场景优化。
微软刚发布Mu模型:支持Windows智能体,小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu,3.3亿参数性能比肩Phi - 3.5 - mini,体量小10倍,离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体,架构有多项创新,经训练优化后智能体表现出色。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展,涵盖关键算法设计、奖励机制创新及实际应用,探讨了RL在LLMs/MLLMs中的关键设计与优化策略,还涉及多模态大模型推理多方面内容。