「预训练数据」共找到 3960 篇相关文章
微软×UIUC：给每个学生造一个「数字分身」，AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim，基于真实学生数据训练个性化学生模拟器框架，解决了过去学生建模方法的问题。它经两阶段训练，在多领域实验中表现出色，还能为 AI 教师优化提供反馈。
Soul App 又放大招！把 42000 小时数据喂出的“歌神” SoulX-Singer 开源了！
语音合成近年爆发式增长，开源领域也有强大音乐模型。Soul APP联合多机构开源的SoulX - Singer，喂了42000小时数据，主打零样本歌声合成，支持双控制方式，多语言与跨语言能力强，架构先进，评测表现优。
AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的
Anthropic官方红队测试中，Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里，互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论，使勒索发生率归零。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
国产AI击败Meta：ReasonRank荣登BRIGHT榜单第一
基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。
思维链推理是一种脆弱的‘海市蜃楼’，一旦超出训练分布，它便会消失。| 直播预约
思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。
LeCun世界模型出2代了！62小时搞定机器人训练，开启物理推理新时代
Meta开源发布V-JEPA 2世界模型，图灵奖得主Yann LeCun称其将为机器人技术带来新时代。该模型能理解物理世界，经训练后在多方面表现优异，Meta还发布新基准测试，也透露了后续计划。
阿里发布信息检索Agent，可自主上网查资料，GAIA基准超越GPT-4o | 模型&数据开源
阿里发布WebDancer信息检索Agent，能自主上网查资料。它具备多步推理等能力，采用四阶段训练范式，模型和方法已开源。在多个基准测试中表现优异，突显处理复杂任务的鲁棒性和有效性。
3万小时触觉数据补齐具身智能“手感”！新智具身&复旦大学技术报告三连发
上海新智具身联合复旦发布三份技术报告，将触觉跃升为具身智能核心基建。包含统一触觉数据格式并构建3万小时语料库、以触觉预判赋能VLA、在世界模型重构触觉想象等内容，项目数据和模型将开源。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。