「推理性能优化」共找到 4171 篇相关文章
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
8B模型任务击败GPT-5？阶跃星辰开源Deep Think新框架，小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。
破天荒！DeepSeek V4正式版居然要涨价，而且翻着倍地涨
DeepSeek官方邮件称7月上线V4正式版，高峰时段API各类token价格翻倍，但其他时段仍维持低价。此前它一直以低价著称，此次涨价或与算力紧张、自建数据中心有关，且更新将带来功能优化和性能提升。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
Python逆天改命！开源Hermes首次击败OpenAI Codex
纯Python写的开源项目Hermes Agent，在11项基准测试中以6:5战绩击败OpenAI用Rust写的Codex。它通过三大工程优化，将启动时间从701ms降至258ms。这表明在AI Agent领域，架构比语言性能更重要。
最强开源机器人大脑！蚂蚁两万小时真机数据开启物理AI缩放定律
蚂蚁集团开源具身智能基座模型LingBot-VLA，用两万小时真机数据证明机器人学习有缩放定律且未达瓶颈。该模型优势显著，在多平台表现出色，团队还从数据、架构、工程等方面进行优化，并开源代码等加速行业探索。