搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

腾讯混元世界模型1.1开源：单卡秒级重建3D世界成为现实

腾讯混元团队开源混元世界模型1.1，它是混元3D世界模型1.0升级版。新增多视图及视频输入，单卡可部署，秒级创造3D世界。有核心突破，能处理多任务，经训练策略优化，多测试表现佳。

香港大学与上海AI Lab联合提出VLN - R1，可将自然语言指令转化为连续导航动作，打破传统链条。它有两阶段训练等创新支柱，在测试中表现出色，小模型性能佳，推动具身智能从数字向具身认知跨越。

上海AI Lab提出LEMMA方法，构建“错误 - 反思 - 修正”数据，让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据，实验显示在Llama3 - 8B上数学解题准确率提升13.3%。

百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。

大模型微调（SFT）是主流LLM落地方案，但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象（ILP），论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。

小红书人文智能实验室（hi lab）低调开源视觉语言模型dots.vlm1。该模型基于自研视觉编码器构建，在视觉理解和推理任务上接近SOTA水平，实测表现惊艳，还介绍了其技术架构、预训练数据布局等内容。

文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。

ACE Studio和阶跃星辰联合开源音乐模型ACE - Step，参数量3.5B，结合多种技术，支持多语言多风格音乐生成。20秒可生成4分钟歌曲，比传统模型快15倍，有多种功能亮点，还介绍了上手步骤和应用场景。

近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。

智在无界作为人类视频学习路线开创者，4月14日发布第三代旗舰模型Being - H0.7，用20万小时人类视频训练，提出新范式，在6项权威评测中综合排名全球第一，拓展了世界模型能力边界。