「数学推理」共找到 2256 篇相关文章
X上63万人围观的Traning-Free GRPO:把GRPO搬进上下文空间学习
年初 DeepSeek - R1带火大模型强化学习,GRPO成常见RL算法,但训练成本高。腾讯优图论文提出Training - Free GRPO,将GRPO训练范式迁移到上下文学习,成本低、泛化好,已开源。
Make SFT Great Again!从SFT到DFT:一权重之差,泛化之跃
大型语言模型的监督微调(SFT)简单高效,但泛化能力弱于强化学习(RL)。本文直击 SFT 核心缺陷,揭示其泛化瓶颈源于隐含的“病态奖励结构”,并提出仅需单行代码修改的动态微调(DFT),实验表明其效果显著。
深入剖析AI公司正在面临的:「囚徒困境」
文章指出AI模型训练成本虽下降,但运营成本尤其是推理费用飙升,使AI公司陷入两难。用户只青睐最强模型,且模型资源消耗远超预期,订阅模式难以为继,还给出了避免亏损的三条出路。
Token成本下降,订阅费却飞涨,AI公司怎么了?
文章指出,虽模型训练成本下降,但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境,如 Windsurf、Claude Code 等,还给出避免亏损的三条出路。
首个开源实现100%可复现的稳定RL训练框架来了!2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理,性能有下降但有提升空间,还给出使用方法和未来规划。
刚刚,Sam Altman宣布:GPT-5即将发布
Sam Altman在X上宣布OpenAI通用推理系统在2025年IMO达金牌水平,同时透露GPT - 5即将发布。OpenAI研究员Alexander Wei介绍突破细节,模型解决多道题获35分。GPT - 5是实验模型,有金牌能力的版本还需等待。
阿里开源PromptEcho:用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法,无需标注和训练reward模型,仅通过冻结多模态大模型(VLM)的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳,且已开源相关代码等。
Meta没做的,英伟达做了!全新架构吞吐量狂飙6倍,20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2,以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍,对标Qwen3 - 8B并在多任务中表现持平或更优,还开源模型及大部分预训练数据。
腾讯混元开源 4 个小尺寸模型,主打 Agent 和长文
8月4日腾讯混元开源四款小尺寸模型,参数为0.5B、1.8B、4B、7B,消费级显卡可运行。模型推理快、性价比高,在多领域表现出色,亮点是Agent和长文能力,已在腾讯多业务应用。
DeepSeek-V3再发论文,梁文锋署名,低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文,从硬件架构和模型设计双重视角,探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计,如 DeepSeekMoE 架构、MLA 架构等,还给出未来硬件架构设计建议。