「推理速度」共找到 2504 篇相关文章
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。
重磅开源！首个全异步强化学习训练系统来了，SOTA推理大模型RL训练提速2.77倍
清华大学和蚂蚁技术研究院联合团队开源全异步强化学习训练系统 AReaL-boba²，坚持“全面开源、极速训练、深度可定制”理念，实现异步 RL 训练，训练速度最高提升 2.77 倍，支持多轮智能体强化学习训练。
壁仞中昊芯英行云集成电路都来了！中国AI算力大会6月举办，聚焦推理算力、AIDC、异构混训与超节点
2025中国AI算力大会6月26日在北京举行，是“智领未来”活动之一。大会设主、分会场与展览区，解构AI算力变局。公布主、分会场嘉宾阵容，含中昊芯英、中科加禾等创始人，报名火热进行中。
证明也有「选择困难症」？腾讯AI Lab与大模型研究部联手打造 MPS-Prover ，多视角破解形式化推理瓶颈！
本文聚焦逐步式自动化定理证明器困境，腾讯AI Lab等提出MPS - Prover。它有数据筛选和多视角树搜索两项创新，提升搜索效率和证明质量，在多基准表现佳，还解决六道IMO难题。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌Deepmind推Genie 3，Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升，实测编码能力强于gpt - oss。gpt - oss虽有亮点，但幻觉率高、实测效果不佳。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌、Anthropic也有新模型推出。gpt - oss有亮点，但也存在幻觉率高、实测效果差等问题。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
ICLR 2026 Oral | 告别多步去噪！清华团队推出MVP，实现机器人动作单步极速生成
清华大学智能驾驶课题组 iDLab 与加州大学伯克利分校人工智能研究院 BAIR联合发表研究，提出 MVP 策略。它引入瞬时速度约束解决均值流学习问题，设计复合生成与选择机制，在多任务测试中表现出色。
12秒生成1万token！谷歌推出文本「扩散模型」Gemini Diffusion，研究员：演示都得降速看
谷歌将图像生成常用的“扩散技术”引入语言模型，推出Gemini Diffusion，12秒能生成1万tokens，速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出，目前是实验性演示，可申请体验。