「预训练模型」共找到 8125 篇相关文章
GAIR Paper 105｜离线强化学习新突破——ROMI：破解对抗式模型学习「过保守、训不稳」深层困局｜ICLR 2026
本文聚焦基于模型的离线强化学习，指出RAMBO算法存在保守性难控和训练不稳问题。为此提出ROMI方法，引入鲁棒价值感知框架与隐式可微自适应加权机制，在多基准任务上超越基线算法。
全球首个完全AI编写的训练框架来了，速度反超英伟达：面壁要用 AI 把国产算力软件重写一遍
面壁智能发布全球首个全由AI编写的训练框架ForgeTrain，在华为昇腾系列上验证，速度超英伟达Megatron 10%。其构建分三阶段，目标是为不同需求“现场锻造”软件，还为国产算力软件生态赶超提供新思路。
被“网暴”两个月后，Yann LeCun 携最新世界模型杀回！小扎千万美元激励抢人，Meta AI 内部权利之争开始
Meta推出新的“世界模型”V-JEPA 2，可提升AI物理推理能力。它是V-JEPA扩展版，在百万小时视频上训练，能让机器人完成任务。Meta还发布三项基准测试，且已开源。LeCun力挺，小扎为追进度亲自招人才。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
本周六直播预约 | Test-Time Reasoning综述分享！
当大模型训练成本飙升、数据枯竭，推理阶段扩展Test-Time Scaling（TTS）成研究热点。论文提出四维正交分析框架，梳理主流技术路线，提炼发展路径，给出操作指南与未来思考，本周六将直播分享该综述。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
60000小时炼出新开源VLA！20多种机器人都能用
蚂蚁灵波发布开源VLA模型LingBot-VLA 2.0，用60000小时预训练数据“喂”出。它支持20多种机器人构型，融合LingBot-Depth提升空间理解，还学会预测未来，在GM - 100评测表现佳。