「模型训练」共找到 8166 篇相关文章
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
上海AI Lab新研究：SFT能泛化，只要满足这三个条件
上海人工智能实验室等团队研究指出，“SFT泛化能力差”定论有局限。SFT泛化能力受优化过程、数据质量与结构、模型基础能力共同制约，研究还揭示其训练中的现象及副作用。
李飞飞刚立规矩才13天，国产卡上「真物理」就来了！
李飞飞为「世界模型」立规矩13天后，中国「草根」团队Mogo推出全球首个具备高动态物理交互能力的世界模型Magpie 1.0，在国产芯片上实现超10分钟物理一致性，开辟全新技术路径。
谢赛宁团队用RAE实现从8%到84%的飞跃，宣告VAE时代结束
谢赛宁团队用RAE新架构将ImageNet图像生成FID刷到1.13，宣告VAE组件过时。RAE结合先进表征学习成果与强大生成模型框架，解决诸多问题，还为其高维潜空间定制DiTDH架构，性能优异。
人才黑洞！UC伯克利系主任都加入A社了
UC伯克利EECS系主任Jelani Nelson暂离大学，加盟Anthropic预训练团队。他算法课播放量超2100万，研究聚焦大规模数据高效处理，这正是A社所需，此前他还在谷歌兼职。
解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架，可从零训练实现任意步数文生图。它改变训练范式，用两条互补训练信号，在GenEval基准表现出色，让文生图训练更灵活且具扩展性。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
仅需152个样本，性能提升48%：Memory-R1如何重塑Agent记忆能力？
这篇文章解读论文Memory - R1，其由多所高校研究团队完成，旨在解决LLM在长对话和多轮任务中的‘记忆难题’。通过强化学习让LLM学会管理记忆，用152个问答对训练，大幅超越现有基线模型。