搜索：模型训练与微调

「模型训练与微调」共找到 8113 篇相关文章

舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿

本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。

中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。

上海人工智能实验室等团队提出LED - Merging解决模型融合“安全 - 效用冲突”问题。该方法无需训练，像“神经元手术刀”，不牺牲专业能力还提升安全性，论文已被ACL 2025 Main Conference接收。

香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。

在2026中国AIGC产业峰会，蚂蚁灵波沈宇军与李根深度对话。沈宇军指出大模型踩中互联网数据红利，但机器人数据空白。他认为VLA和世界模型非具身智能终局，未来会有物理世界独有的模型。

快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。

近期，OpenAI 携多款未公开新模型亮相。在 IMO 竞赛中，其宣称新模型获金牌，谷歌 DeepMind 的 Gemini Deep Think 也达金牌水平，但网友对二者评价不一。此外，‘o3 Alpha’疑上线，前 OpenAI 员工还在编程赛中击败 OpenAI 模型。

文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题，还列举了不该微调的五种场景，如知识接入问题、Prompt没写好等，建议先验证思路，明确目标再行动。

文章详细解释大模型Token概念，指出分词器会把文字切成Token，不同分词器切分结果不同。还介绍分词器的分词方法，通过统计文字出现频率打包成Token并编号，不同模型切分结果有差异。

香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。