搜索：语言模型训练

「语言模型训练」共找到 8240 篇相关文章

一个月的活一周干完！英伟达世界模型训练速度飙升400%

英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。

近日，蚂蚁集团开源业界首个高性能扩散语言模型推理框架 dInfer，在基准测试中，其将 dLLM 推理速度较 Fast - dLLM 提升 10 倍以上，攻克推理瓶颈，为开发者提供高效框架，推动扩散语言模型走向成熟。

论文提出BridgeX - ICL方法提升LLM低资源语言性能，通过三步实现优化。构建两类探测数据解决传统问题，识别重叠神经元，用HSIC选最优桥梁语言，在多任务实验验证其有效，揭示多语言机制规律。

中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。

普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。

视觉语言模型（VLMs）存在视觉幻觉和语言捷径问题，限制其可靠性和泛化能力。腾讯提出Vision - SR1训练方法，通过推理分解和自我奖励机制，不依赖外部监督，提升模型视觉感知和推理可靠性。

香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。

本次讲座聚焦迈向用于演绎推理的诚实语言模型。当前语言模型难诚实推理，输入不足会产生无根据答案。为此制定多步骤任务，提出强化学习方法ACNCHOR，稳定学习过程、提高推理性能。

在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。