「高质量训练数据」共找到 4317 篇相关文章
北大卢宗青：现阶段世界模型和 VLA 都不触及本质｜具身先锋十人谈
北大卢宗青作为具身大脑创业者，认为现阶段世界模型和 VLA 未触及本质。他指出互联网视频数据是唯一可规模化的道路，其创立的「智在无界」正标注互联网视频中人类关节动作让模型学习。
Meta和Scale AI闹翻！砸143亿买的高管跑路，业务也合作不下去
两个多月前，Meta豪掷143亿美元收购Scale AI 49%股份，如今双方在团队融合、业务合作方面产生纠葛。原Scale AI高管离职，Meta研究人员抱怨其数据质量低。双方后续发展不尽如人意。
拖更三年，北大校友翁荔最新长文刷屏！
前OpenAI副总裁Lilian Weng发布拖更三年的长文《Scaling Laws, Carefully》，指出AI行业依赖的Scaling Laws远比想象脆弱。OpenAI和DeepMind对算力分配结论相反，且Chinchilla方法论也有问题，同时数据快用完，经典公式前提在崩塌。
NVIDIA发布最强开源模型，效果和速度全面超越DeepSeek R1
NVIDIA推出Llama - Nemotron系列开源模型，有LN - Nano、LN - Super、LN - Ultra三款。旗舰款LN - Ultra在权威测评中碾压DeepSeek - R1等，运行效率还更高。有“动态推理开关”功能，代码数据全公开，或引发AI推理效率革命。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
梁文锋执笔的R1论文登上Nature封面！首次回应外界三大质疑
9月17日，DeepSeek创始人梁文锋通讯作者名义发表的DeepSeek - R1论文登《自然》封面。该模型借助强化学习自主形成推理能力，在Hugging Face下载量破1090万次。新版论文回应质疑，披露训练细节，虽有不足但引发学界关注。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理，未充分利用预训练数据。将介绍最新工作Ouro，Loop语言模型家族，核心创新多，虽参数少却性能优，还会讨论其推理轨迹及模型Scaling新可能。
阿里巴巴新论文：让LLM学会管理记忆，告别人工规则
大型语言模型处理长对话或复杂任务时，记忆管理靠人工规则，效果有限。阿里巴巴团队新论文提出把记忆管理变为可学习的强化学习策略，AgeMem框架统一长短期记忆管理，经三阶段训练，效果显著。
OpenAI算力账单曝光：70亿美元支出，大部分钱花在了“看不见的实验”
据Epoch AI统计，去年OpenAI计算资源支出70亿美元，多以租微软云算力支付。其中50亿研发算力，大多用于幕后研究和实验，非爆款模型的最终训练，也解释了其2024年亏损原因。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。