搜索：语言模型训练

「语言模型训练」共找到 8240 篇相关文章

ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通

来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。

最新研究发现，token数量受限下，扩散语言模型数据潜力超自回归模型三倍多。一个1B参数的扩散模型用1B tokens训练，在基准测试取得不错准确率，且未现性能饱和。

Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。

文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。

北大与通义实验室发布ZeroSearch框架，可无需真实搜索激活大语言模型检索能力。它引入大语言模型模拟搜索、采用结构化模板等策略，成本降88%，多项实验显示其性能超越基线与真实搜索方法。

上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。

合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。

Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者，现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全，使用体验更顺手，开发深度依赖Claude。

Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。

当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。