「吞吐量提升」共找到 2953 篇相关文章
装机量超2000万、全球主流GPU与AI框架“开箱即用”！OpenCloudOS成AI时代优先选项
在大模型训练迭代快、算力需求高但 GPU 利用率低、生态碎片化的背景下，2025 OpenCloudOS 操作系统生态大会举办。OpenCloudOS 围绕 AI 升级技术，构建能力闭环，还发布智能基座，降低产业链技术摩擦。
Cursor 1.3 ~ 1.6 版本更新全梳理：终端不再挂、Agent 更聪明、上下文更可控
Cursor 1.3 - 1.6 版本有诸多更新。如自定义斜杠命令、改进 Agent 终端、升级 Agent 能力、增加左侧边栏管理等，还在上下文控制、工作流保护、MCP 资源支持等方面有优化。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
一年没用Perplexity，AI搜索进化惊呆我了丨TIP 005
Perplexity Lab推出后，AI搜索实现技术成熟度拐点。作者体验其新出的Perplexity Lab，发现它进化很大，如答案数据可视化、回答可交互等，虽有亏损且价格贵，但仍是实用的AI搜索。
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程，通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环，从集群利用率、单节点算力、后训练技术三方面突破，实现大模型高效训练。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”
前OpenAI安全研究副总裁翁荔在新博客聚焦AI领域Harness Engineering。她认为Harness是决定模型在现实任务中走多稳、多远的‘脚手架’，并梳理其演进路线，也指出研究面临评估、安全等瓶颈。
NVIDIA团队让编程Agent接管真实机器人实验，成功率达99%
NVIDIA GEAR 实验室负责人介绍 ENPIRE 项目，首次在机器人硬件实现自动化研究。让 8 个 Codex Agent 驱动闭环，完成高精度任务，成功率 99%。项目计划开源，还提出 MRU 与 MTU 指标。
Lyft 使用 AI 和人机协同扩展了全球范围内的本地化能力
Lyft 实现 AI 驱动的本地化系统，加速应用与网页内容翻译。新系统结合大语言模型、自动评估与人工审核，将翻译周期从数天缩至分钟级，兼顾质量与适配性，还分批量和实时翻译架构处理不同场景。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。