「两阶段训练」共找到 3089 篇相关文章
媲美Claude 4，支持100万上下文！阿里开源超强代码AI Agent模型
阿里巴巴开源超强AI Agent模型Qwen3 - Coder - 480B - A35B - Instruct，测试分数媲美Claude Sonnet 4，超越DeepSeek。它参数多、支持大上下文窗口，训练数据优质，还进行代码强化学习扩展训练等，有对应命令行工具。
史上最大高质量科学推理后训练数据集开源，快速让Qwen3等变“科学家”
上海创智学院、上海交通大学发布开源科学推理后训练数据集MegaScience，含约125万条问答对，覆盖多学科。它解决了现有数据集的问题，实验显示能提升模型科学推理能力，已完整开源相关组件。
5Y News｜微分智飞连续完成两轮融资，加速空中机器人具身智能研发
近日，微分智飞一个月内完成数千万元天使轮及天使+轮融资。此轮融资用于加速飞行具身智能创新等。公司由高飞教授领衔，成立三月就推出第一代平台，在多领域有开拓性应用。
深度｜Karpathy为何突然加入Anthropic，只能当Dario的「-2」？
5月19日，OpenAI联合创始人Andrej Karpathy宣布加入Anthropic预训练团队。他将组建新团队，用Claude加速预训练研究。文章分析了他加入的原因，以及Anthropic招聘他的动机，还指出这一变动标记着技术拐点。
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
英伟达发现RL Scaling！创造力暴涨，做基座模型做不了的事！
过去学界争论强化学习（RL）对语言模型的作用，此前研究认为其效果有限。本文发现问题出在训练时间短，提出ProRL，让训练突破2000步以上，结果惊人，小模型也能有出色表现。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
独家！哈工大斩获AI顶会ACL评审阶段最高分，让AI领略汉字之美
哈工大论文获AI顶会ACL 2025评审阶段已知最高分。团队用传感器捕捉手部书写实现汉字输入识别，独创中文字形编码让AI理解汉字形态，革新中文人机交互，推动汉字文化传承，为AI理解汉字开辟新路。