「GPU推理」共找到 2382 篇相关文章
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
大模型结构化推理优势难复制到垂直领域！最新法律AI评估标准来了，抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。
TRM思考奖励模型上线，大模型推理质量终于能量化了 | ICML‘26 Oral
大模型推理评测多只看答案，忽略推理过程。上海多校团队提出TRM，用ME² principle刻画推理质量，DAG-based pairwise evaluation还原结构，训练奖励模型，让推理质量可度量、训练和优化。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
110万美元悬赏！AMD发起全球战书：谁能打破DeepSeek与Kimi的推理速度极限？
AMD与GPU MODE联合发起2026线上黑客松，向全球发榜。挑战赛设110万美元奖池，分预选赛和决赛，要对核心GPU算子打磨、挑战明星模型，代码须可合并，给出了赛程安排及参赛方式。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
知识图谱推理新sota，兼顾性能+效率！中科大新作 | NeurIPS'25
知识图谱推理应用广泛，但现有方法面临推理效率低、表达能力不足等挑战。中科大团队提出DuetGraph，采用双阶段粗到细推理框架与双通路全局 - 局部特征融合模型，平衡推理精度与效率，缓解过平滑问题。
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。