开源动态8
COMET框架让大模型推理加速
AIGC开放社区
AI 摘要
计算所王颖研究员团队等:全球大模型能耗高、传统量化技术有局限,COMET框架通过多方面优化,实现全4比特推理性能突破,精度损失小、加速显著,且已开源。
阅读原文 · AIGC开放社区
最新W4A4KV4全量化框架,单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架,通过系统 - 算法协同优化,实现全4比特推理性能突破,在多方面有技术亮点,实测性能碾压现有方案且已开源。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
英伟达推 AI 智能体 CPU,消费者或为产能变化买单
2026 年英伟达宣布量产为 AI 智能体打造的 CPU Vera。此前 AI 产业硬件焦虑多围绕 GPU,如今 AI Agent 改变任务形态,CPU 负担加重,芯片厂商纷纷布局,产能变化或让消费者买单。
DeepTech深科技
新闻资讯7
黄仁勋锁定OpenAI 20年芯片收入
英伟达推出‘LPS’概念,联合投资机构出5000亿美元建数据中心,为客户担保。首个项目为在美为OpenAI建150万GPU数据中心,20年或带来巨额芯片收入。黄仁勋也对相关风险做了澄清。
量子位
新闻资讯7
黄仁勋拉华尔街5000亿,为AI算力融资
8月11日,英伟达宣布与六家金融机构合作,成立算力融资平台,欲动员超5000亿美元,把算力做成可融资生意。其将英伟达全栈AI基础设施当可投资资产,客户按需付费,但英伟达股价不涨反跌,这场豪赌结果待察。
新智元
新闻资讯7
黄仁勋拉华尔街搞5000亿AI基建融资
黄仁勋宣布NVIDIA与多家金融机构合作,建立融资平台,撬动超5000亿美元第三方资本建设AI基础设施。他推出AI工厂概念,称算力能成可投资资产,还回应了循环投资质疑。
量子位