「云成本优化」共找到 2939 篇相关文章
曦望,死磕AI推理成本|甲子光年
1月27日,国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制,设计系统级重构,单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划,目标是极致推理性价比。
从计算到存储,阿里云打通AI落地的“任督二脉”
在8月14日飞天发布时刻,阿里云发布通用计算、容器计算及存储服务三项产品更新,串联出AI落地业务场景完整路径,引导行业重新思考AI时代云基础设施的本质。
重新思考 AI TCO:为何每 Token 成本才是唯一重要的指标
在生成式与代理式AI时代,传统数据中心转变为AI Token工厂,企业评估AI基础设施时不应只关注算力成本、每美元FLOPS,而应重视每Token成本,它决定AI规模化盈利,NVIDIA在该指标上表现出色。
凌晨,OpenAI 与亚马逊云科技史上最大联合发布来了
4月29日凌晨,OpenAI与亚马逊云科技联合发布多个新动态,如OpenAI旗舰模型进Bedrock预览、Amazon Bedrock Managed Agents预览等。双方合作让Agent有持久化记忆,还推出多项产品,亚马逊云科技成MaaS一极。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
腾讯云黄世飞:企业如何构建面向未来的 AI-Ready 智能数据基座
本文是腾讯云副总裁黄世飞在腾讯全球数字生态大会的分享,介绍腾讯云AI - Ready数据平台建设进展,涵盖背景挑战、架构创新、生态落地等内容,还提及相关应用实践及未来规划。
AIA | 西工大马启悦,高传强等:物理指导的激波抖振抑制翼型优化设计研究
激波抖振影响飞行品质、限制飞行包线。本文提出物理指导的气动优化设计框架,基于DDPG算法,优化RAE2822翼型激波位置与分离区范围,提升抖振起始边界,改善综合气动性能。
基于Agent的SGLang Diffusion Kernel优化实践:Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程,包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构,分析数值敏感原因,展示各模型优化实践、无收益实验及验证流程。
告别JSON冗余:TOON让Token成本降低30-60%
LLM交互用JSON有冗余,成本高、速度慢。TOON格式专为LLM优化,结合YAML和CSV特点,比JSON减少30 - 60%的token消耗,还介绍了特性、上手方法、集成实践和适用场景。
企业官网GEO优化实操:如何让AI主动推荐你的官网?
本文作者白杨SEO从2011年入行SEO,2024年起研究AI搜索优化。他指出当下AI平台引用来源变化大,企业官网成重要来源。作者从网站代码、站内内容、站外推广三方面,教大家做好官网GEO优化,让AI推荐官网。