GPU 加速」共找到 964 篇相关文章

新闻资讯8

英伟达官方推理指南来了!6倍无损加速,最优解全是华人写的

9月2日,英伟达技术博客上线《用投机解码做AI模型协同设计》,给出推理加速选型表。列入指南的核心方案多由华人团队主导,介绍了从外置草稿模型到n - gram查表法等方案,还提到硬件常数对模型架构的约束。

新智元
推荐文章8

英伟达GPU全系列硬核科普手册:一文读懂NVIDIA芯片的定位、规格与应用场景

这是英伟达GPU全系列硬核科普手册,覆盖消费级、工作站、推理卡、训练卡及中国特供版五大产品线,讲清区别与用法,还介绍架构演进、命名规则等,助读者秒变选型高手。

腾讯技术工程
算法论文8

怎么量化机器人数据价值?ATHENA将影响函数扩展到十亿参数VLA,313×加速筛选高价值数据

具身智能进入数据scaling时代,VLA模型训练中数据并非越多越好。上海交大同济等校团队提出ATHENA框架,将影响函数扩展到十亿参数VLA模型,解决计算和筛选难题,实现313倍加速,实验证明其用更少数据获更好效果。

机器之心
7

GPT-5两周内发布,内测猛料流出?GPT-6或已开始训练,奥特曼剧透百万GPU

有爆料称GPT-5将在两周内发布,是多模型组成的系统,含「路由器」,GPT-6已在训练。奥特曼称年底将增超百万GPU,有人看好GPT-5,也有人认为它可能只是路由器。此外,OpenAI有十名员工拒小扎3亿天价offer。

新智元
开源动态8

加速200倍,单显卡1.8秒生成5秒高清视频!清华与Vidu解开了视频扩散模型的速度枷锁

清华、生数科技与伯克利联手用TurboDiffusion解开视频扩散模型速度枷锁。它改造注意力机制、引入步数蒸馏和量化策略,在多模型测试中加速100 - 205倍,且画质几乎无损。

AIGC开放社区
新闻资讯7

国产GPU赛道又跑出一个 2700 亿独角兽!“中国AMD”沐曦股份完成IPO,开盘大涨超 500%

继摩尔线程后,沐曦集成电路登陆科创板,截至发稿估值破 2700 亿。其核心团队多来自 AMD,产品覆盖多领域。虽三年累计净亏超 30 亿,但营收增长强劲。沐曦上市标志国产 GPU 进入“市场与资本检验期”。

AI前线
新闻资讯7

英伟达的局:狂撒15亿美元,从Lambda那租到了搭载自家AI芯片的GPU服务器

据The Information消息,英伟达与小型云服务提供商Lambda达成15亿美元合作,租赁其搭载自研AI芯片的GPU服务器。这并非首次,此前已对CoreWeave如此操作。目的是维护其在云计算市场的主导地位。

机器之心
新闻资讯7

图灵奖大佬向97年小孩哥汇报?小扎1亿年薪买新贵,老将痛诉熬夜捡GPU

新智元报道,小扎砸143亿拿下Scale AI 49%股权引入Alexandr Wang任Meta首席AI官,甚至可能让LeCun向其汇报。而Meta老员工因GPU受限研究受阻,科技圈有人上亿年薪,有人被裁,AI圈呈职业体育趋势。

新智元
算法论文8

32k微调处理百万Token:21倍的推理加速,10倍的峰值显存节省,实现恒定内存消耗

现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构,有双轨并行记忆系统,能恒定内存、线性时间处理文本,在基准测试超主流方法,实现21倍推理加速和10倍显存节省。

量子位
开源动态8

国产类脑大模型适配国产沐曦GPU!长序列推理提速超百倍,仅用2%数据匹敌主流模型

中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0,借鉴大脑信息处理机制,适配国产沐曦GPU,长序列推理提速超百倍,仅用2%数据匹敌主流模型,探索构建国产自主可控类脑大模型生态。

量子位