GPU性能分析」共找到 3188 篇相关文章

算法论文8

大模型能力,小模型成本!Google等 | 提出递归混合框架:MoR, 大幅提升LLM计算效率

Google提出递归混合框架(MoR),融合参数共享与自适应计算。它有轻量级路由和KV缓存策略,在不同路由机制各有优劣。实验显示,MoR在性能、计算和内存效率上表现出色,有望实现“大模型能力,小模型成本”。

AINLPer
新闻资讯8

刚刚,AMD、OpenAI联合发布超强AI芯片,推理提升35倍

今天凌晨,AMD举办2025全球AI发展大会,与OpenAI联合发布Instinct MI400、Instinct MI350系列超强AI芯片。MI350推理性能提升35倍,MI400内存配置大幅提升。AMD还开源ROCm7平台,7大AI平台与其合作。

AIGC开放社区
算法论文8

142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要

文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。

GiantPandaLLM
算法论文8

Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16

Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。

AI寒武纪
新闻资讯7

390亿美元,全球具身智能第一估值来了!英伟达持续加注中

与OpenAI分道扬镳后,Figure C轮融资获超10亿美元承诺资本,投后估值达390亿美元。资金将用于扩大人形机器人大批量制造与部署、搭建GPU基础设施、启动数据采集项目,助力具身智能发展。

量子位
算法论文7

Meta最新大模型RL微调:在线DPO/GRPO显著优于离线DPO

Meta和NYU研究强化学习在大模型微调中的有效性,对比离线、半在线和在线训练范式。半在线和在线显著优于离线,多任务结合可验证与不可验证任务能提升性能,还给出不同任务的测试数据。

PaperAgent
推荐文章7

2026 初的大模型,离电影 Her 还有多远?

作者重看电影《Her》后,对比 2026 年初现实 AI 与电影中萨曼莎的能力,从七个维度分析差距。指出功能性上已接近,但存在性层面差距大,还探讨了 AI 发展趋势与存在意义。

特工宇宙
算法论文7

手机上实现AI视频实时生成,DiT模型上移动端

扩散变换器在视频生成任务性能强,但计算成本高,在手机上难实用。Snap提出创新优化法,加速视频生成,能在iPhone 16 Pro Max上每秒超10帧,不过也存在细节退化等局限。

带你学AI
新闻资讯8

工业异常检测新突破,复旦等多模态融合监测入选CVPR 2025

复旦大学等机构联合发布高精度多模态数据集Real - IAD D³,提出多模态融合检测方法D³M,成果被CVPR 2025收录。该数据集含多类数据,提升检测性能,此前相关工作也被CVPR 2024收录。

量子位
开源动态7

DeepSeek-R1今天一次「小更新」,颠覆了大模型格局,网友:尽快放R2

昨晚,DeepSeek官方宣布其R1推理模型升级到最新版本(0528),并公开模型及权重。该版本参数量高达6850亿,采用MIT许可证,性能提升明显,在多个基准测试中成绩优异,网友实测代码能力也大幅提升,但仍存在过度思考问题。

机器之心