「损失函数」共找到 184 篇相关文章
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
Scaling时代终结了，Ilya Sutskever刚刚宣布
Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。
刚刚，翁荔博客上新：谨慎对待Scaling Law
翁荔新作《谨慎对待 Scaling Law》上线，文章涵盖 Scaling Law 预测内容、计算最优分配原理等。介绍了早期对机器学习损失可预测性的研究，还对比了 Kaplan 等人与 Chinchilla 的 Scaling Law，分析了两者分歧原因。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
又一家AI基金暴雷了
7月AI抛售潮来袭，鲸岩资本等AI基金损失惨重，如鲸岩资本7月暴跌21.7%，亏光半年收益。这背后是AI基建落地慢回报少，且国产开源模型冲击，让投资者质疑此前的AI投资。
代码怎么才能跑的更快
文章围绕让代码跑更快展开，先介绍调整源代码的方法，如降低循环开销、去除内存引用等，又阐述使用硬件加速指令，像用 SIMD 函数、避免分支语句等，还提及多核并行和分析瓶颈等要点。
36年卷积猜想被解决，华人唯一作者，AI或受益
华人学者 Yuansi Chen 解决 36 年的 Talagrand 卷积猜想数学问题，论文证明布尔超立方体上热半群下非负函数有更好尾部界限，除额外 log log 因子，主要问题已解决，对多领域有基础意义。
MeanFlow再下一城，北大提出机器人学习新范式MP1，实现速度与成功率双SOTA
北大研究团队提出机器人学习新范式MP1，将MeanFlow引入机器人学习，实现毫秒级推理速度。还引入分散损失提升少样本泛化能力，在仿真和真机测试中，实现速度与成功率双SOTA。
DeepSeek用的GRPO有那么特别吗？万字长文分析四篇精品论文
文章解读 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文，分析 DeepSeek R1 里 GRPO 及改进算法。指出 GRPO 非特殊 RL 算法，当前 RL 算法实现相似，变革聚焦价值函数取舍等核心维度。
突发！特朗普准备取消AI芯片出口限制
彭博消息称特朗普计划撤销拜登时代AI芯片出口限制，此消息使英伟达股价上涨。此前限制遭半导体公司和外国政府反对，美商务部发言人称旧规阻碍创新，将换简单规则。英伟达因限制有损失，其CEO看好中国市场。