搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！

字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo，统一训练多种视觉模态，让模型更懂物理规律，视频生成更真实可控，还实现零样本泛化，在多任务表现优异。

中国人民大学团队提出全新LLM记忆管理框架MemSifter，打破长时记忆管理‘精度不够’和‘成本太高’的困局。它将记忆检索‘外包’给轻量级代理模型，采用任务结果导向的RL训练范式，在8个基准测试中超越现有SOTA方案。

研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。

小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

当下世界模型是AI领域热门且混乱的概念，主流路线有四类。Momenta的R7世界模型已量产，其CEO定位公司为物理AI基座模型构建者。Momenta率先冲刺IPO，商业模式正转型，为后续玩家提供价值评估体系。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

ICCV 2025中稿的LangScene-X以全新生成式框架，仅用稀疏视图就能构建可泛化的3D语言嵌入场景。它攻克传统方法痛点，将多模态信息统一在单一模型，为空间智能领域打开新大门。