「推理性能」共找到 3431 篇相关文章
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law
斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能，揭示动作误差与采样数量幂律关系，还探讨关键问题，给出方法，实验证明结合RoboMonkey能显著提升性能。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
阿里云Tair KVCache仿真分析：高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
三位哈佛辍学生，如何将专用芯片变成估值百亿美元的 AI 算力公司
文章聚焦 Etched 公司，分析推理成 AI 算力主战场背景，介绍三位哈佛辍学生创始人故事，阐述其从芯片到推理集群的产品打造，还提及团队、文化、资本情况，最后分析竞争格局与前景。
思维链可无限延伸了，MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model（TIM），配合专用推理引擎TIMRUN，把推理过程变为树状递归子任务结构并修剪子任务，让模型突破输出窗口限制实现长程推理，实验验证了其性能。
中大 × MBZUAI重磅开源！A₁：全透明高效 VLA 模型，机器人实时控制成本直降 76% 丨CVPR 2026 Findings
开放世界机器人操作被大模型算力成本和推理延迟难题困住，中大与MBZUAI团队推出全开源的A₁模型，其自适应推理方案降低推理延迟和骨干计算量，性能超主流基线，打破‘高性能=高成本’魔咒。