「低延迟推理」共找到 2941 篇相关文章
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
Claude Opus 4.1火速发布！坐稳编程之王，官方：马上还有大更新
Claude Opus 4.1正式发布，编程性能超Claude Opus 4及竞品，拿下SOTA。在Agent任务和推理方面升级，定价不变。官方将在几周内大规模改进。Anthropic借客户背书，暗秀关系，文风受开发者喜爱。
嚯！国产视频模型的物理水准超神了 | 实测MiniMax海螺02
MiniMax上新视频生成模型Hailuo 02，解决了AI视频生成中体操难题。该模型原生支持1080p，能处理极端复杂物理场景，实测文生、图生视频能力出色，成本创新低，MiniMax本周还有多项技术布局。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案
文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA，专为机器人领域设计，可在消费级硬件运行。它用公开数据集训练，架构经优化，还引入异步推理堆栈，性能超部分大模型，降低研究门槛。
估值1亿的"死了么"APP有多好抄？5分钟AI就能复刻，去年有人一下午做出原型
‘死了么’APP 爆火并更名 Demumu，虽开发成本低却估值达 1 亿。此前有数据分析师曾用 AI 5 分钟复刻其海外版。该 APP 由三名 95 后开发，现下载量猛增，还面临竞品挑战。
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
英伟达CEO黄仁勋做客美国第一播客Joe Rogan，畅谈AI底层逻辑与技术演进，还分享英伟达创业历程。他指出AI已从检索转向推理，数据中心成“AI工厂”，并坦言每天担心公司倒闭。
陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。