新闻资讯8
AICon:多专家分享大模型推理优化方案
InfoQ
AI 摘要
AICon大会上,阿里云刘峥等专家将分享推理优化方案。龚睿昊讲工业级工具链,马腾揭秘云上KVCache架构,宋晓辉展示OPPO端侧化技术,汤雄超介绍赤兔引擎破异构算力困局。
阅读原文 · InfoQ
推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Zilliz郭人通:AI Agent助力业务扩张
2026年AICon深圳站8月21 - 22日举办,聚焦多关键方向,邀50+头部企业专家。Zilliz联合创始人郭人通将分享用AI Agent支撑业务扩张,介绍落地案例、关键实践及对数据基建新要求。
InfoQ
新闻资讯7
Anthropic营收反超OpenAI,IPO占优
IPO前夕,Anthropic最新年化营收达650亿美元,8个月翻超7倍,反超OpenAI。双方在资本市场竞争激烈,A社在起跑时间、财务、商业模式上占优,但OpenAI用户规模和产品生态占优,目前A社牌面更好。
量子位
新闻资讯8
菲尔兹奖得主:AI数学优势在‘输得起’
OpenAI发布内部版模型Astra的十项成果,引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果,指出AI优势在‘输得起’,还探讨找例方法、模型短板,给出训练建议与衡量跨越门槛的标准。
新智元
算法论文8
北大等提出 TensorCast,推理首字延迟最高降 93.2%
随着模型规模增长、新应用兴起,大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast,解耦张量状态,复用管理能力,在多场景测试中表现出色,为大模型基建提供新范式。
机器之心