「类R1训练」共找到 2569 篇相关文章
数学编码超越O3-high,英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集,采用Qwen2.5架构,基于500万条轨迹训练。评测输出长度最高64K token,多版本刷新SOTA。其‘heavy’模式有独特能力,32B版在数学与编程基准超越O3(High)。
AI开始替人类调用AI!token用量已是人类5.2倍
据OpenRouter统计,截至8月10日,Agent类token用量半年涨14倍,人类仅2.8倍。差距源于用法差异,虽智能体部分token计价低,但用量大仍烧钱。省钱关键在配套,且智能体任务验收缺人手。
“看懂”指令并做动作!Motion-R1结合COT让角色动起来
大语言模型为文本驱动动作生成带来新可能,但现有方法有局限。GigaAI提出Motion - R1框架,融合“思维链”机制,能分解指令、优化动作合成,虽有不足,但在测试中表现优于主流方法。
马斯克开源新模型:能实时抓取社交平台数据,20万块H100训练
马斯克旗下xAI开源去年最佳模型Grok - 2.5,6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据,用超20万块H100训练,性能超GPT - 4o等,应用场景广泛。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度,盘点SGLang对单机规模推理的大量工程优化技巧,涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等,助于提升DeepSeek V3/R1在单机H200上的推理性能。
SPIRAL:零和游戏自对弈成为语言模型推理训练的「免费午餐」
新加坡国立大学等机构团队提出 SPIRAL,让模型在零和游戏自对弈强化推理,摆脱人工监督。研究发现游戏可培养推理能力并迁移到数学,还开发系统保障训练,虽有局限但为 AI 发展指明方向。
豆包是如何炼成的?字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成,关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性,已部署超一年,效果显著。
无需训练的3D生成加速新思路:西湖大学提出Fast3Dcache
在AIGC浪潮中,3D生成模型虽进化快,但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架,能在加速同时保持或提升模型几何质量。
开源即屠榜!UniME多模态框架登顶MMEB全球训练榜,刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME,刷新MMEB训练榜纪录。它是两阶段框架,经文本判别知识蒸馏和困难负样本增强指令微调,在多任务达SOTA,项目已开源。
LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收
LeCun团队提出LLM - JEPA,将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性,在多模型和数据集验证有效,但有训练开销大、泛化性不足等局限。