「吞吐量」共找到 46 篇相关文章
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
1美金时薪雇个全栈替身，MiniMax M2.5让打工人也能体验当老板的感觉
春节档模型大战，MiniMax官宣新模型M2.5，主打智能体和Vibe Coding，性能比肩Claude Opus 4.6。它全栈能力强，能处理长链路任务，推理吞吐量高、成本低，已接管MiniMax 30%真实业务。
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。
Pogocache：开源缓存软件实现低延迟并支持多传输协议
全新开源缓存软件 Pogocache 近日发布 1.0 正式版，主打低延迟与 CPU 高效能特性，支持多种主流通信协议，宣称比其他开源缓存方案有更高吞吐量和更低延迟。还介绍了其架构、应用场景等。
英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5，实现SOTA表现，吞吐量提至前代3倍，可单卡高效运行。它采用NAS优化架构，经多数据集训练，现已开源。
谷歌云推出面向毫秒级延迟工作负载的 Rapid Storag
在 Google Cloud Next 2025 大会上，谷歌云推出 Rapid Storage，为频繁访问数据和延迟敏感应用提供毫秒级数据访问，有低延迟、高吞吐量等特点，还与亚马逊 S3 Express 被比较，目前处于预览阶段。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
英伟达祭出NVFP4核弹：大模型训练根本性转变，GB300效率狂飙7倍
英伟达推出新格式NVFP4，能以4 - Bit速度与效率实现16 - Bit生产件级训练精度，是LLM开发重大飞跃。虽处于研究阶段，但正与多组织合作。还介绍其方法、优势，实验也证明它在大规模训练的有效性。