搜索：模型训练难题

「模型训练难题」共找到 8626 篇相关文章

Andrej Karpathy深度解读：强化学习之父为何说大模型违背了「苦涩教训」

Andrej Karpathy深度解读Sutton与Dwarkesh的播客对话。Sutton认为大模型不符合「苦涩教训」，因其训练依赖人类数据集。他追求类似动物通过强化学习与世界交互的系统。Karpathy认可批评，认为找到符合原则算法是突破。

WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。

文章由知名AI科学家Lance Eliot所写，指出主流大语言模型因训练机制变得‘短视’，缺乏深度协作能力。介绍协作提示词技术，能让AI成为主动引导者，并以测试展示效果，还说明了适用场景。

ICML2026 论文指出，大语言模型内部会自然形成类似人类心理学模型的「情绪树」，模型越大，情绪树越复杂，且在销售等任务上表现更好。同时，模型的情绪结构受身份设定影响，存在与人类相似的情绪识别偏见。

OpenAI新论文《语言模型为何会产生幻觉？》提出，模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测，在榜单表现不佳，网友质疑论文是为GPT - 5挽尊，论文引发网友多方向讨论。

上海创智学院、上海交通大学发布开源科学推理后训练数据集MegaScience，含约125万条问答对，覆盖多学科。它解决了现有数据集的问题，实验显示能提升模型科学推理能力，已完整开源相关组件。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。

最近网友被AI「手指难题」逼疯，给AI六指手，它始终无法数对。GPT - 5.2、Nano Banana Pro等均翻车。此问题揭露当前模型思考机械、割裂等缺陷，也凸显Transformer架构弱点。

腾讯混元世界模型HY - World 1.5开源，实现24 FPS实时交互世界生成。它采用双重动作表征等技术，解决了长程生成问题，还通过强化学习等优化，在多方面表现出色，为具身智能场景模拟奠基。

思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。