「预训练研究」共找到 3691 篇相关文章
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
击败Meta登榜首：推理增强的文档排序模型ReasonRank来了
本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank，在多个榜单击败多校和机构登榜首，其7B版本超越32B模型，论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。
3B模型性能小钢炮，“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。
网络基础设施如何支撑大模型应用？北京大学刘古月课题组5大方向研究，相关论文入选ACM SIGCOMM 2025
在智能计算和网络演进背景下，北大刘古月课题组聚焦网络研究。其 5 篇论文入选 ACM SIGCOMM 2025，从架构、数据、运维、安全四个维度形成技术闭环，推动新一代网络系统发展。
地瓜机器人携手虚时科技，补上具身智能的仿真数据“黑洞”｜甲子光年
5月12日，虚时科技与地瓜机器人联合开发的AnySceneGen平台发布，这是面向具身智能训练的仿真空间生成平台。具身智能训练需海量数据，传统仿真数据生产依赖人工，效率低。该平台以模型替代人工，重构生产方式，优势显著。
GUI智能体训练迎来新范式！半在线强化学习让7B模型媲美GPT-4o
浙江大学与通义实验室团队推出UI - S1，提出半在线强化学习训练范式。它融合离线与在线学习优势，用三项关键技术构建核心架构，新评测指标SOP更贴近真实表现，实验显示UI - S1 - 7B性能卓越，逼近GPT - 4o。
清华唐杰新作：大模型能打掼蛋吗？
清华、北邮等团队联合研究表明大模型能打掼蛋等8种棋牌。不同模型在不同棋牌表现有差异，如GPT - 4o综合佳，GLM4是“全能型选手”。研究还探讨学习方法、模型性能影响因素及游戏间相互作用等。
给GUI Agent装上「世界模型」：阿里通义用混合数据+统一思维链，让模型学会预判屏幕变化
伴随多模态大模型发展，GUI Agent成人机交互新范式，但构建高可用、跨平台的GUI Agent面临诸多挑战。阿里通义实验室开源Mobile - Agent - v3.5框架及GUI - Owl - 1.5模型家族，解决了相关技术壁垒。