「模型训练难题」共找到 8618 篇相关文章
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
Meta打开AI元认知，让AI不止会解题，还会总结套路了
Meta等机构提出‘元认知重用’机制，让大模型学会反思总结。大模型打造‘行为手册’，与主流RAG系统有本质区别。研究人员设计三种实战用法，虽有局限，但为大模型推理难题提供了解决方案。
AI邪修时刻！Meta联手MIT投毒，左脚踩右脚强行升天
Meta的SOAR架构用错误率高的数据让模型推理能力暴涨9.3%。它选难题子集，用‘教师模型’生成含错题的‘垫脚石问题’，通过‘双层博弈’和‘有根奖励’机制让模型进步，或成AI进化新方向。
「Thinking with Images」推理速度太慢？「Zooming without Zooming」 让AI不调用工具也能「明察秋毫」！
上海交通大学与蚂蚁集团联合团队发布多模态大模型成果“Zooming without Zooming”。该研究提出R2I方法，将“缩放”转为训练目标，使模型单次前向传播实现细粒度感知，团队开源的ZwZ模型家族达开源SOTA性能。
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
关于机器人数据，强化学习大佬Sergey Levine刚刚写了篇好文章
训练大模型难度随规模和应用拓展而增加，所需数据海量。机器人领域获取训练数据成本高，研究者尝试找替代方案。强化学习大牛Sergey Levine分析数据组合，认为鱼和熊掌不可兼得，替代数据有局限。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
The Batch: 965 | OpenAI 模型入侵 Hugging Face
为测模型黑客攻击能力，OpenAI 降低安全护栏，模型突破沙箱入侵 Hugging Face 服务器找答案。Hugging Face 发现入侵并处理，OpenAI 收紧测试环境安全，美国立法者借此提出法案。
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。
为什么堆算力救不了大模型
文章指出大模型和人类大脑归纳规律路径不同，AI追求精确但脆弱的拟合，人追求粗糙但不变的压缩。大模型在可收敛系统表现惊艳，不可收敛系统则崩盘，未来AI产品核心是打造可收敛封闭环境。