「离线推理」共找到 2161 篇相关文章
DeepSeek研究员1200行代码复刻vLLM，H800硬件实测性能反超原版
DeepSeek研究员俞星凯搞出开源项目Nano - vLLM，仅用不到1200行代码实现最小化且完全可读的vLLM。它有快速离线推理、代码可读性强、含优化套件等特点，在H800硬件实测中性能反超原版vLLM。
WAIC最强亮点：非Transformer离线AI大模型已大规模量产，大模型商业比我们想得更快
在WAIC上，RockAI推出非Transformer离线AI大模型Yan 2.0 Preview，有视觉感知跃升和自主学习能力两大提升。该公司走非Transformer路线，着重场景落地，通过“标杆战略”推动产品量产，未来构想构建“群体智能”世界。
壁仞中昊芯英行云集成电路都来了！中国AI算力大会6月举办，聚焦推理算力、AIDC、异构混训与超节点
2025中国AI算力大会6月26日在北京举行，是“智领未来”活动之一。大会设主、分会场与展览区，解构AI算力变局。公布主、分会场嘉宾阵容，含中昊芯英、中科加禾等创始人，报名火热进行中。
证明也有「选择困难症」？腾讯AI Lab与大模型研究部联手打造 MPS-Prover ，多视角破解形式化推理瓶颈！
本文聚焦逐步式自动化定理证明器困境，腾讯AI Lab等提出MPS - Prover。它有数据筛选和多视角树搜索两项创新，提升搜索效率和证明质量，在多基准表现佳，还解决六道IMO难题。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌Deepmind推Genie 3，Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升，实测编码能力强于gpt - oss。gpt - oss虽有亮点，但幻觉率高、实测效果不佳。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌、Anthropic也有新模型推出。gpt - oss有亮点，但也存在幻觉率高、实测效果差等问题。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
6.1k星星！开源流式MoE推理框架，仅需2.5G内存就能运行350亿参数模型，手机电脑都能跑
本文介绍了获6.1k GitHub Star的开源流式MoE推理框架Edge0，该框架通过SSD专家卸载、路由预测和Recover-LoRA技术，仅需2.5G内存即可运行350亿参数大模型，支持多平台部署运行。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。