搜索：性能成本平衡

「性能成本平衡」共找到 3298 篇相关文章

AI Infra 工程师们如何应对大模型流水线里的“暗涌”？

InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。

大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。

OpenAI深夜推出gpt-oss 20B和120B两款开源模型，性能比肩o3-mini和o4-mini，能在消费级显卡甚至手机运行。有宽松许可证等亮点，还准备了体验网站。这是自GPT - 2后首次开源，降低了部分群体准入门槛。

百度PaddleOCR-VL模型仅0.9B参数，在OmniDocBench V1.5榜单获92.6分全球第一，在多能力维度达业界最佳，能处理109种语言。其采用两阶段架构，结合优质训练数据，实现高性能与低内存、快速度的平衡。

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

阿里通义实验室开源MAI - UI，通过端云协同架构等解决GUI智能体部署难题。它全谱系模型设计应对硬件约束，自进化数据管线和在线强化学习提升性能，端云协同平衡隐私与效率，扩展动作空间打破局限，在多基准测试创SOTA。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

AI芯片初创公司Groq完成7.5亿美元融资，估值达69亿美元。它由前谷歌工程师创立，致力于打破英伟达垄断，产品能低成本维持AI性能，但在生态、大规模模型支持等方面与英伟达有差距，短期内难威胁其地位。