搜索：推理优化与部署

「推理优化与部署」共找到 3516 篇相关文章

刚刚，英伟达革了自己的命：智能体自主进化7天，干掉所有算子工程师、GPU专家

英伟达新研究AVO构建了新型进化变异算子，用自主编码智能体取代经典方法。智能体7天自主进化，优化MHA内核，性能超cuDNN和FlashAttention - 4，还能快速适配GQA，展现强大泛化能力。

今日凌晨，Black Forest开源文生图模型FLUX.1-Kontext开发者版本，功能类似PS，用自然语言就能一键P图。测试显示它超GPT-image-1，成最强开源文生图模型之一，还在架构、训练、工程层面做了优化。

10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。

清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。

传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。

2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。

Anthropic在官方文档上线Claude 4.x提示工程指南，针对4.5系列模型优化。介绍基本原则、长期推理和状态跟踪方法、沟通风格，还给出特定场景指导及迁移考虑，助你发挥Claude 4.x实力。

腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。

美团推出零代码应用生成工具NoCode，类似V0&Bolt。它功能强大，能生成复杂网页应用，支持提示词生成、自动优化、快速部署等，还自带数据库服务，免费且无需邀请，为国内Vibe Coding带来曙光。

人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。