「模型训练与微调」共找到 8113 篇相关文章
世界模型迎来因果升级：CD-LAM仅用几千步微调即可显著增强动作控制
Aether AI与加州大学圣地亚哥分校研究发现现有世界模型会无视动作控制信号，根源是隐动作模型受视觉混杂因素污染。团队提出CD - LAM，从上游净化隐动作表征，实验显示其能降动作误差、提画面质量，降低后训练开销。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
牛津VGG、港大、上交发布ELIP：超越CLIP等，多模态图片检索的增强视觉语言大模型预训练
牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。
英伟达4B小模型击败GPT-5 Pro！成本仅1/36
英伟达ARC - AGI 2中，4B小模型NVARC以27.64%成绩力压GPT - 5 Pro登顶，单任务成本仅其1/36。亮点是零预训练深度学习法，还靠合成数据、测试时微调等策略。小模型特定领域优化后优势明显。
奖励模型也能Scaling！上海AI Lab突破强化学习短板，提出策略判别学习新范式
上海人工智能实验室提出策略判别学习（POLAR）新范式，解决奖励模型设计与训练瓶颈。POLAR可灵活适配多样需求，弥补传统奖励模型短板，契合强化微调框架，实验证明其性能和泛化性优越。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。