「低延迟推理」共找到 2951 篇相关文章
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
字节硬核开源ComfyUI批量处理插件，ComfyUI调参效率暴增10倍！
在ComfyUI的AI创作中，手动调参效率低。近期字节跳动开源ComfyUI Lumi Batcher插件，支持全参数交叉调试等，可让调参像Excel一样简单，极大提升ComfyUI工作流效率。
国产芯片比英伟达整体效率更高！？华为 CloudMatrix384 超节点首曝论文，跑 DeepSeek 效率超越英伟达
今年4月，网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开，阐述在CloudMatrix 384超节点部署DeepSeek大模型细节，性能指标超英伟达体系，还介绍架构、软件栈及适配优化方案。
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
The Batch：829 | DeepSeek 是怎么做到的
DeepSeek 去年末以低成本训练出先进开源大模型引关注，近日团队披露构建 DeepSeek - R1 和 DeepSeek - V3 的软硬件方案，降低内存和计算需求，其细节公布让更多团队有机会参与前沿研发。
印度国家级大模型上线两天仅 300 余次下载，投资人直呼“尴尬”：韩国大学生模型都有20万！
印度 Sarvam AI 发布国家级模型 Sarvam - M，虽被赞为本土 AI 研究突破，支持 10 种印度本地语言，但上线两天仅 334 次下载，投资人批评其成果‘令人尴尬’，引发社区激烈争论。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
二十年老牌 IDE 栽在 AI 上？JetBrains 被差评逼疯批量删除评论，用户怒打 1 星抗议
JetBrains的AI助手插件下载超2200万次，但评分仅2.3分。用户不满其自动安装、速度慢、bug多等问题，负面评论被批量删除引发抗议。公司虽推出免费套餐和新AI智能体Junie，但仍面临成本、竞争等难题。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。