搜索：性能成本平衡

「性能成本平衡」共找到 3412 篇相关文章

告别微调！斯坦福提出Agentic上下文工程

当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。

吴恩达在最新来信中指出，并行智能体正成为提升AI能力新方向，多个agent协作能高效处理不同任务。相比依靠数据和算力提升性能的方法，并行agent提升性能同时无需用户久等，且大模型token成本下降使其可行。

阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。

作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。

10月16日，AI代码助手Augment Code更新定价模式，按AI使用量计费，用户称成本涨超10倍。CEO称原模式不可持续，举例有用户带来高额成本。行业内多家公司也调整定价，反映AI编码助手成本和定价难题。

腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。

用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。

Anthropic分享从0到1构建多智能体DeepResearch系统的方法，该系统是Claude内置Research功能。干货多，涵盖架构设计、Prompt工程等。多智能体性能比单模型高90.2%，但烧钱，适合高价值复杂任务。

香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。

大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。