「语言建模」共找到 1324 篇相关文章
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
Google 把翻译能力彻底开源了！TranslateGemma：550种语言通吃，还能直接看图翻译！
Google将多年积累的翻译能力灌进开源大模型TranslateGemma，它基于Gemma 3，专为翻译任务调优，有3个规模版本，覆盖550种语言，能直接看图翻译，亮点颇多。
打破确定性魔咒！北航团队提出VBF++：用“不确定性建模”刷新多模态视频推荐 SOTA
北京航空航天大学和北京邮电大学联合提出VBF++框架，将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成，在多个数据集上刷新SOTA。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
大语言模型高考数学拿高分靠强化学习，那文科考高分得靠什么？
大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。
IEEE TPAMI 2025 | 北京大学提出分布驱动的终身学习范式，用结构建模解决灾难性遗忘
北京大学周嘉欢与彭宇新教授合作在 IEEE TPAMI 发布研究成果 DKP++，针对终身学习的灾难性遗忘问题，提出分布建模引导的框架，增强历史知识记忆与跨域学习能力，代码已开源。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。
里程碑时刻！首个100B扩散语言模型来了，技术报告揭秘背后细节
蚂蚁集团与高校联合团队推出 LLaDA2.0 系列扩散语言模型，其中 LLaDA2.0 - flash 参数量达 100B。技术报告披露细节，其解决了 dLLM 做大做强难题，性能比肩 AR 模型，为扩散模型工业化带来转机。
更高智商更快思考！蚂蚁开源最新万亿语言模型，多项复杂推理SOTA
蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。