「视觉语言预训练」共找到 3299 篇相关文章
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。
港中文联手美团开源“视觉推理通才”！图像视频10类任务一网打尽
香港中文大学MMLab与美团研究团队开源OneThinker模型，它可覆盖图像与视频十类核心视觉任务，在31项测试中表现出色，还展现泛化能力。研究团队搭建数据集，并引入EMA - GRPO算法提升训练稳定性。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
当Ilya断言大模型未来在于架构创新时，中国团队推出全球首个可大规模落地的开源原生多模态架构NEO。它颠覆传统拼接模式，从根上融合视觉与语言，以简洁架构证明架构聪明才是下一代AI竞争力。
在一台1970年代的PDP-11上训练Transformer需要多久？答案是5.5分钟
近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。
大语言模型高考数学拿高分靠强化学习，那文科考高分得靠什么？
大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。
Alibaba力作:Ovis-U1 融合理解、生成与编辑，解锁无限可能
OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。
智谱终于发布GLM-4.5技术报告，从预训练到后训练，细节大公开
上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。