云成本优化」共找到 2936 篇相关文章

产品应用7

关键技术详解|腾讯一念 LLM 分布式推理优化实践

InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等,还对比不同框架,指出优化方向,如先实现 PP,再推进 EP 与 PD 分离。

InfoQ
推荐文章7

Token成本下降,订阅费却飞涨,AI公司怎么了?

文章指出,虽模型训练成本下降,但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境,如 Windsurf、Claude Code 等,还给出避免亏损的三条出路。

机器之心
产品应用7

阿里客服Agent业务提效实践:灵活可控的落地方法论

阿里算法专家姜剑介绍了“阿里服务领域 Agent 平台”及业务提效方法论。阐述 Agent 技术本质、模式,分析其给客服领域带来的价值,指出阿里客服痛点,提出解决设计问题的方法,展示平台设计与落地成果。

InfoQ
算法论文8

Nature Computational Science | 香港城市大学韦业等:复杂系统深度主动优化

本文通过集成深度神经网络和树探索能力,提出神经网络代理模型引导树探索的主动优化方法。该方法在超2000维数值优化问题中找到全局最优,在多领域表现优于现有方法,为小样本、高维优化难题提供通用技术。

力学与人工智能
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
开源动态8

单机H200最快DeepSeek V3和R1推理系统优化秘籍

作者从开源技术分享角度,盘点SGLang对单机规模推理的大量工程优化技巧,涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等,助于提升DeepSeek V3/R1在单机H200上的推理性能。

GiantPandaLLM
新闻资讯7

微软最新财报:总营收701亿美元,与AI业务增长强劲

微软发布2025财年第三季度财报,营收701亿美元,同比增13%。生产力与业务流程、智能、个人计算等业务均有增长,业务营收424亿美元,同比增20%。董事长称与AI是关键,CFO表示业绩强劲。

AIGC开放社区
推荐文章8

NVIDIA技术沙龙《强化学习流水线优化:性能分析与 Rollout加速》演讲笔记

该演讲笔记围绕强化学习流水线优化,强调用Nsight Systems做性能分析,介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧,如Actor训练和Rollout优化,还以Qwen 2.5 7B等模型为例总结参数调优经验。

GiantPandaLLM
产品应用7

新版 Android 插件登场,应用能瘦身 50%,Google 把代码优化和资源压缩合二为一

Google在新版Android Gradle Plugin引入资源压缩优化方案,合并代码优化与资源压缩。新方案让应用体积最高缩减50%,开发者有四种优化方式可选,AGP 8.12.0已提供该流程,AGP 9将默认开启。

InfoQ
产品应用8

刚刚,“计算一哥”版龙虾发布,奥特曼打着官司也要站台

亚马逊科技发布Amazon Quick,可连接本地文件等,打通生态,还是主动的Agent。奥特曼虽打官司仍站台,OpenAI与亚马逊深度合作。此外,Amazon Connect扩展成四个AI解决方案,发布会强调Agent是新企业操作系统。

量子位