「消费级显卡」共找到 1016 篇相关文章
阿里云 Tair 基于 3FS 工程化落地 KVCache:企业级部署、高可用运维与性能调优实践
本文介绍阿里云 Tair KVCache 团队与服务器研发存储软硬件结合团队对 3FS 的工程化升级实践。从性能、产品、运维维度优化,为高性能 KVCache 在企业级 AI 场景落地提供范式,还提及未来 3FS 产品化及服务器硬件升级方向。
英伟达祭出NVFP4核弹:大模型训练根本性转变,GB300效率狂飙7倍
英伟达推出新格式NVFP4,能以4 - Bit速度与效率实现16 - Bit生产件级训练精度,是LLM开发重大飞跃。虽处于研究阶段,但正与多组织合作。还介绍其方法、优势,实验也证明它在大规模训练的有效性。
1.5B刷新数学代码SOTA!快手&清华精细化Token管理,LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理,对知识型和推理型Token差异化训练,让知识和推理同步更新且互不干扰,在数学和代码任务表现出色。
11 年前的那张图,又火了
一张2015年关于AI的智能曲线图近日在X上刷屏,马斯克也进行了转发。该图作者Tim Urban将AI分为ANI、AGI、ASI三个层级,指出人类习惯线性思考,但AI进步是指数级的。如今AI发展加速,其能力边界不断扩张。
SAPO:让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一,但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO,用平滑门控函数替代硬剪切,实验效果良好。
当AI从云端“下沉”,Arm如何赋能端侧
端侧AI发展近十年,已进入应用快速拓展期,成为推动消费电子革新重要力量,但面临视觉处理、内存平衡和应用迭代等挑战。Arm推出相关平台与技术,如SME2,提升AI性能与能效,还与厂商合作,持续创新赋能端侧。
冲上热搜!美团大模型,靠「快」火了
国内外开发者亲测,美团新开源的LongCat - Flash - Chat模型速度超快,推理速度超每秒100个token。它来自美团LongCat - Flash系列,官网可直接用。该模型架构创新,训练方法高效,还做了专属和系统级优化,跑起来又快又便宜。
8 个月营收提高 4 倍,n8n 为什么是 AI Agent 最受欢迎的搭建平台?
n8n 从工作流自动化工具升级为 AI 应用编排层,8 个月营收提 4 倍,正进行超 1 亿美元融资。它能与 AI 无缝集成、社区活跃,使用场景广,有云服务和企业级服务,在竞争中有优有劣,采用独特开源许可。
印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来
智能驾驶行业激战正酣,千里科技与阶跃星辰合作打造“原生智驾基座模型”。印奇首谈双公司布局,认为中国AI商业闭环要靠车跑出来。千里科技收入、利润双增,智驾装机规模将超百万辆,还布局Robotaxi和超级智能体。
英伟达说,小语言模型(SLM)是智能体的未来
英伟达论文指出小语言模型(SLM)是代理人工智能未来。SLM参数小于100亿,可装在消费电子设备。英伟达认为其强大、适合代理系统且经济。微软、英伟达等多家厂商的小模型表现出色,文中还分析了SLM优势及代理架构。