「长文本训练」共找到 2925 篇相关文章
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
GPT5.5 + Codex 如何跑一整夜，编程的下一步，不是辅助编程，是可托管执行单元
文章指出GPT - 5.5在Codex里展现出强大自主性，能处理长时程任务。还介绍让其跑长任务的方法及面临的问题，强调长任务需状态机、证据链等，社区也在构建相关工作流层。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
长视频会议纪要、访谈节目精剪AI神器
WhisperVideo是用于长篇幅、多说话人视频的简洁演示系统，专为真实对话构建。它有SAM3视频分割、TalkNet主动说话人检测等功能，具备视觉关联说话人归属等特性，文中还介绍了安装、运行等内容。
“Skill 不就是长一点的提示词吗？”
文章回应了对'skill是长提示词'的质疑，指出差异在于提示词配套的是ChatBot还是Agent。ChatBot只能对话，Agent能调用工具干活。Skill可渐进加载，具可复用、组合、迭代等优势，是提示词工程化封装。
视频生成一长就漂移竟是前序帧「太干净」惹的祸！研究揭示共享噪声水平才是长视频稳定关键
自回归视频生成模型存在训推不一致导致的误差累积问题，使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR，通过共享噪声水平减少误差传递，还解决了动作僵化问题，实现分钟级无退化生成。