「预训练策略」共找到 2842 篇相关文章
Qwen拿半成品刷下AIME'25满分，给别人留点面子吧……
开源之王Qwen的Qwen3“超大杯”推理版虽为早期预览版，仍在训练中，但已在AIME 25和HMMT25达100%准确率，超GPT - 5系列。该预览版可在Qwen Chat免费试用，API已上线阿里云。
Rex-Omni：用 3B 模型颠覆目标检测
长期目标检测依赖传统坐标回归模型，MLLMs方法存在不足。IDEA研究院提出30亿参数的Rex - Omni多模态大模型，在零样本测试中表现超现有回归模型，还具备丰富语言理解能力，有独特设计和训练流程。
16岁创业，22岁做成百亿独角兽！3位高中同学帮大厂训AI年入1亿美金
Meta豪掷143亿收购Scale AI，其CEO加盟Meta。这一并购让Mercor创始人Brendan Foody看到机会，认为Scale AI失去中立性，大厂或不再合作。Mercor为AI实验室提供训练人员，年入1亿美金，估值达百亿。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
中国第一，直逼OpenAI！神秘「扫地僧」冲到全球前七
神秘中国AI「扫地僧」MopMonk以73.1%胜率杀入CyberGym全球前七，紧咬OpenAI。它用MiniMax M3为基座，靠结构化记忆、多Agent并行等策略提升漏洞挖掘执行力，示范开源基座极致利用之路。
18 天做出来的产品，一个月留存 1%。OpenAI 抄袭 Skills？
2025下半年科技行业重速度，OpenAI开发Sora安卓应用仅18天，国内产品也纷纷发布。但快也有问题，Sora 30天用户留存率仅1%。此外，OpenAI人才策略激进，还被指抄袭。做产品应兼顾快慢。
超越谷歌Banana，字节联合香港中文大学等高校开源最强图像编辑生成系统DreamOmni2
香港多高校与字节跳动联合研发的DreamOmni2系统，实现图像编辑与生成领域SOTA。它用三步造出高质量数据，提出索引编码等方案，联合训练模型，实际效果超越部分商业模型，为AI创作带来新可能。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
最大开源第一视角数据集 EgoLive 来了，名校站台、近百家机构争相申请
今年4月京东开源业界最大人类第一视角数据集EgoLive，已获近百家机构申请。它用自研设备采集，经多模态处理，覆盖多场景任务。其数据用于JoyAI - RA训练，在真实场景验证效果好，还推动具身智能数据标准化。