「集群性能优化」共找到 2912 篇相关文章
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
The Batch: 978 | DeepSeek-V4-Pro 更新了
DeepSeek发布旗舰模型DeepSeek-V4-Pro-0813正式版，性能提升，还发布开源agent harness开发者预览版并提价。模型在多指标表现佳，编码能力改进明显，公司公开基准测试框架意义大。
将庞大3D世界装进手机！李飞飞Spark 2.0开源
李飞飞团队开源核心技术Spark 2.0，可优化3D世界，让普通设备通过浏览器流畅访问交互。它有自动选细节、分批加载、优化存储三绝招，适配主流框架，有望改变与数字世界互动方式。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
Agent Token焦虑：当每次对话都在「烧钱」，技术如何破局？| GAIR Live 029期预告
GAIR Live 029 期线上圆桌将直击 Agent Token 焦虑的底层技术逻辑，邀请技术负责人从架构重构与系统优化双重视角，拆解 Claw 类产品如何从烧钱走向省钱。探讨成本解剖、架构升维、系统优化等核心议题。
Karpathy新思考：别把AI当动物，它们是全新的智能物种
Andrej Karpathy发长推提出颠覆性观点，认为人们用错误框架理解AI，对比了动物智能与LLM智能的优化动力、根本差异等，强调优化目标决定智能形态，指出应按其机制对待AI。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
你敢信？GPT-5的电脑操作水平只比人类低2%了
Agent S3刷新了计算机使用智能体（CUA）在「OSWorld」基准测试的记录，性能达69.9%，接近人类水平。它引入bBoN实现并行扩展，还精简框架、引入原生代码智能体，已开源并发布论文。
英伟达力荐，小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大，LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed，有 TensorRT LLM 性能、vLLM 易用性，受英伟达力荐且已开源，为智能体负载提供近「光速级」推理能力。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。