「预训练研究」共找到 3737 篇相关文章
西湖大学张驰团队：不重训，也能让视频生成更长更稳丨CVPR 2026
AI 视频生成目前存在长视频稳定性问题，西湖大学张驰团队提出 《Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction》。研究表明 FreeLOC 方法能提升长视频生成质量，且具跨模型通用性，还揭示了问题机制，降低算力成本。
EAAI | 西工大夏明坤，张伟伟等：分层无量纲学习：一种物理和数据混合驱动的无量纲关联参数提取方法
在流体力学研究中，高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法（Hi - π），通过物理、压缩、映射三层架构自动提取关键无量纲参数组合，在多个算例中表现良好，为参数降维与知识发现提供新思路。
“DeepSeek-V3基于我们的架构打造”，欧版OpenAI CEO逆天发言被喷了
欧洲版OpenAI（Mistral）CEO Arthur Mensch在访谈称DeepSeek-V3基于其架构构建，引发网友质疑。经对比，Mixtral与DeepSeek的SMoE论文虽研究方向相同，但架构思路差异大，此前Mistral 3 Large还曾被指照搬架构。
刚刚，马斯克开源基于 Grok 的 X 推荐算法！专家：ROI 过低，其它平台不一定跟
马斯克时隔近三年再次开源X推荐算法，该算法基于Grok，采用端到端学习预测用户兴趣。不过有争议认为这或是因现实压力。专家称其ROI低，其他平台不一定跟进，且此次开源对学术研究价值不大。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
只要交钱，高中生也能发NeurIPS？港大教授怒批顶会变味
在AI浪潮下，学术研究被商业机构「量产化」，成明码标价的「入学筹码」。港大教授马毅揭露乱象，如Algoverse机构指导团队顶会录用率高，高中生也能发文。付费论文收割家长「焦虑税」，还带来诸多学术问题。
你以为在点「红绿灯」验证身份，其实是在给AI免费打工
验证码发展多年，从最初文本形式到如今图像形式。用户点选验证码时，实际在为AI免费提供训练数据，如谷歌让全球网民免费转录资料、为自动驾驶AI打工。如今验证码攻防战激烈，未来或利用AI弱点创新。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。
智能体系统如何「边做边学」？斯坦福团队探索在线优化的新范式
斯坦福等校团队提出 AgentFlow 框架及 Flow - GRPO 算法，让智能体系统能「边做边学」。它由多个智能体模块协作，在多领域基准测试中表现出色，小模型也能超越大模型，为智能体训练提供新思路。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。