「模型训练难题」共找到 8608 篇相关文章
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
LeCun点赞：国产开源模型占领硅谷，性价比超10倍
硅谷被中国开源模型占领，Cursor、Cognition等公司模型被曝套壳或基于中国开源模型后训练。巨头如Meta也用Qwen做训练，爱彼迎等青睐Qwen。因性价比高，中国开源模型在硅谷走红。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。
单次训练横扫9个基准，遥感检测最大数据集与基础模型框架问世
北京航空航天大学团队发布面向通用遥感目标检测的大规模数据集与基础模型框架 LEVIRDet，构建了 LEVIRDet - 159 数据集，提出 LEVIRDetNet 模型。前者为训练泛化能力强的模型提供新数据基础，后者在多基准测试中表现出色。
蚂蚁dInfer框架，让扩散大语言模型推理速度再飙10倍，相同模型性能下超越自回归模型
蚂蚁开源dInfer框架，联合名校发论文阐述实现细节。它解决扩散模型推理难题，提出创新算法和系统优化策略，实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM，代码已开源。
科普向：一文解构大模型后训练，GRPO和它的继任者们的前世今生
文章深入解读大模型后训练，先对比 PPO 与 GRPO，指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法，如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性，还提及 GRPO 其他缺陷。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
AIGCode宿文：我就是要自训练大模型，直接做「L5」| AI产品十人谈
AIGCode宿文坚信Coding是培育大模型的最佳场景，公司自训练66B基础模型，发布锡月大模型，开启AutoCoder内测。宿文认为AI Coding能解决代码供给问题，目标是实现AGI，虽面临诸多质疑，但他坚持直接做L5。