「训练推理效率」共找到 4434 篇相关文章
【独家】对话汤元科技任冬淳：物理AI的瓶颈，在于训练体系｜甲子光年
对话汤元科技任冬淳，探讨物理AI瓶颈。他认为物理AI瓶颈在训练体系，要满足数据结构质量、训练验证闭环、数据规模效率三要求。汤元构建训练底座，为具身智能和智驾提供服务，具身智能是未来重心。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
CVPR'26 | 以机器人为中心的ToM推理框架，从心智推理到决策行动
吉林大学、台湾大学和微软亚洲研究院联合提出MindPower Benchmark，构建以机器人为中心的ToM推理框架，统一建模环境感知、心智推理等，还构建数据集和评估指标。引入Mind - Reward强化优化，提升ToM决策与动作生成性能。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。