「预训练研究」共找到 3687 篇相关文章
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
剑桥、伦敦大学学院和谷歌团队推出基于强化学习的视觉规划（VPRL）新范式，纯靠图像推理。新框架利用GRPO后训练，准确率达80%，超文本推理至少40%，代码已开源。
LeCun点赞：国产开源模型占领硅谷，性价比超10倍
硅谷被中国开源模型占领，Cursor、Cognition等公司模型被曝套壳或基于中国开源模型后训练。巨头如Meta也用Qwen做训练，爱彼迎等青睐Qwen。因性价比高，中国开源模型在硅谷走红。
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。
具身VLA后训练：TeleAI提出潜空间引导的VLA跨本体泛化方法
现有VLA基座模型能力不足，跨本体适配存在挑战。中国电信人工智能研究院具身智能团队提出“对齐 - 引导 - 泛化”（ATE）框架，实现从调架构到调分布的范式转移，适配主流VLA模型，减少数据需求。
训练提速5倍，响应缩短50%：动态自感知能力，重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余，传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力，通过三模块协作，实现推理“精准瘦身”，解决根本冲突。
一篇95页最新80种Deep Research系统全面综述
浙大研究深度研究系统领域，分析自2023年以来80多个实现，提出4维度分层分类法，全面剖析4种实现架构，如单体、流水线、多智能体和混合架构，并阐述各维度演变与进步。
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
传统强化学习框架在模型和集群规模达上千块GPU时，存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL，采用全分布式架构和多控制器范式，解决传统框架痛点，在多方面验证了其高性能。
Grok最新模型吃上Cursor「加餐」，马斯克：Coding实现巨大改进
马斯克在X上透露，xAI的Grok基础模型V9 - Medium（1.5T）完成训练，预计2 - 3周后发布，训练加入大量Cursor数据。同时，xAI的AI编程代理工具Grok Build进入早期Beta测试阶段。
马斯克开始疯狂剧透Grok 5了
ARC - AGI榜单官宣新SOTA，用Grok 4+程序合成技术微调，超越一众明星模型。马斯克剧透Grok 5，称其能达AGI，将几周内开始训练。投入大量训练数据和硬件资源，但成品效果仍待观察。