「推理硬件」共找到 2486 篇相关文章
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法,通过PD分离、多层MTP优化等全栈优化方法论,还介绍多机性能优化方案,后续预计性能突破20000 tokens/s。
国产芯片比英伟达整体效率更高!?华为 CloudMatrix384 超节点首曝论文,跑 DeepSeek 效率超越英伟达
今年4月,网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开,阐述在CloudMatrix 384超节点部署DeepSeek大模型细节,性能指标超英伟达体系,还介绍架构、软件栈及适配优化方案。
MiniCPM 4.0来了!220倍极速狂飙,端侧模型的比赛,结束了
面壁智能联合清华发布MiniCPM 4.0,极限场景220倍加速。它是首个原生稀疏模型,有三级火箭推理加速体系,性能强,适配全平台,应用广泛,或成端侧AI分水岭。
大模型首次打破围棋思维「黑盒」,打通科学发现新路径!上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客(InternThinker),它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境,还在多任务混合训练中现‘涌现时刻’,背后有通专融合底层技术突破。
快手&中科院 | 提出多模态奖励模型:R1-Reward,比SOTA模型提升5%-15%!
多模态奖励模型对提升多模态大语言模型表现至关重要,但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward,在基准上比 SOTA 提升 5% - 15%,还在快手业务场景成功应用。
多模态技术爆发元年,行业应用如何落地?
InfoQ《极客有约》X AICon 直播栏目,邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等,还分享精彩观点,如先大后小蒸馏提效,垂直模型现阶段更优。
从自己出题到自己选题:耶鲁新方法让大模型 Self-Evolution 又进一步
本文解读了耶鲁、斯坦福等多机构联合提出的INFUSER大模型自进化新方法,针对现有方法仅以难度筛选训练数据的缺陷,提出用影响力分数筛选高价值训练题,实现双模型协同动态进化,实验验证效果显著。
国际PC巨头入局,Violoop押注个人主权AI|甲子光年
Violoop获亿元级融资,产品计划9月16日众筹。它想让AI设备随使用更懂用户,提出“个人主权AI”,即个人掌握经验与改进能力。研发聚焦让AI理解人,设置主权边界,有三层自进化路径,还探索多终端应用。
别高估车企“造人”
今年5月特斯拉停产后搭建Optimus量产线,虽强调FSD算法可复用,却未量产。车企造机器人,优势在供应链管理和生产制造,算法移植效果一般,且面临数据难题,竞赛中暂无通关密码。
OpenAI失去了「CUDA内核之神」
近日热传Scott Gray已离开OpenAI。这位有「CUDA内核之神」称号的工程师声名起于Nervana Systems,加入OpenAI后贡献颇多。2026年OpenAI已流失不少人才,他的离开对公司影响值得关注。