「四段式预训练」共找到 2358 篇相关文章
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
Meta超级智能实验室又发论文，模型混一混，性能直接SOTA
大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。
The Batch: 872 | 机器藏羚羊混入羊群
中国科学院联合云深处科技等，将云深处科技的 X30 型四足机器人伪装成藏羚羊，引入可可西里保护区藏羚羊群，在不打扰它们的情况下进行观察。该机器人适应复杂地形和极端环境，还能跟踪羊群并传输数据。
超越宇宙极限：第六位海狸数再次突破，无法用常规数学符号表达
本文介绍「忙碌海狸数」，其前五项为1、6、21、107、47176870。研究人员先后确定前四个数，如今BB(6)再突破，新下界需用新数学符号表达。还回顾探索历程，提及社区用Coq证BB(5)，并指出BB(6)真实值难测。
2025-04-努力不是做好事情最重要的因素
作者分享个人生活、工作等多方面情况，提及播客发布，认为努力非工作做好的关键因素，深入探讨Agent在业务应用中的问题，还谈及视频更新、投资经历等，最后表示要审视目标、精简事务。
九章云极发布AI工厂体系：破解140万亿Token时代的落地悖论｜甲子光年
九章云极于6月17日发布Alaya NeW AI工厂体系，锚定十万P算力、十万亿Token、千个模型、千倍降本四大目标。该体系是智能工业化的必然产物，能解决资源难转生产力的难题，还具备技术效能、生态范式和商业飞轮三大支柱。
Anthropic 联创：2028 年实现 AI 自我构建的概率超过 60%
Anthropic 联合创始人 Jack Clark 发长文称，到 2028 年底，AI 实现端到端自动化研发概率超 60%。他分析多维度测试数据，指出 AI 在代码、科研、自我训练和管理等方面能力提升，也探讨了成真后的影响，但遭黄仁勋和陶哲轩质疑。
3D VLA新范式！CVPR冠军方案BridgeVLA，真机性能提升32%
中科院自动化所提出BridgeVLA模型，将3D输入投影为2D图像并利用2D热图进行动作预测。它训练分两阶段，在多仿真基准和真机实验表现卓越，仅3条轨迹基础任务成功率达96.8%，真机性能提升32%。
超越GPT-4o！华人团队新框架让Qwen跨领域推理提升10%，刷新12项基准测试
加拿大滑铁卢大学与TikTok新加坡的华人团队提出全新训练框架General - Reasoner，让Qwen系列大模型跨领域推理准确率提升近10%，在多项基准测试中超越GPT - 4o。该框架有全领域推理数据集和生成式答案验证器两大创新。
RL在Agentic Reasoning中的作用：拨开迷雾，看清本质
近年大语言模型在推理任务能力惊人，但使用外部工具存挑战。传统SFT无法让模型自主调用工具，强化学习虽被引入，但在智能体推理中面临训练效率、稳定性和泛化能力难题。论文从多维度解构智能体强化学习，提出有效方法。