搜索：大模型预训练

「大模型预训练」共找到 9494 篇相关文章

万帧？单卡！智源研究院开源轻量级超长视频理解模型Video-XL-2

长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

影眸科技年轻团队携 3D 生成模型 Rodin 获头部游戏合作。其研究入选 SIGGRAPH 最佳论文提名，还完成融资。新模型 Rodin Gen - 2 提升生成质量与可控性，在多领域应用，定义 3D 生成新规则。

消息称Anthropic本周将发布Opus 5.1，其升级聚焦单Token智能水平，强化编程、推理、AI Agent能力；OpenAI 10万亿参数模型Bel完成预训练；企业选模型‘够用就好’，Anthropic Fable 5份额低。

本文介绍清华系计算创业公司是石科技，其93年创始人闫博文不囤算力仍拿下大模型明星公司订单。团队技术实力强，3次获戈登·贝尔奖。公司构建全栈能力，为多领域提供服务，未来想以算力赋能各行业。

Inception Labs推出基于扩散技术的大语言模型Mercury，它突破自回归模型限制，生成速度快，还解决了难以回头调整的问题。实测显示其代码生成速度比传统工具最多快10倍，且有强大纠错能力，但面临与当前CI能力不匹配问题。

第八届GAIR全球人工智能与机器人大会世界模型分论坛上，五位青年学者围绕世界模型展开精彩演讲，话题涵盖通用感知、三维技术等。他们的研究为世界模型领域带来不同启发，目前该领域研究尚处起步阶段，共识未形成。

苹果推出 30 亿参数的 Ferret-UI Lite 端侧 AI 模型，可解析屏幕图像、与应用交互。现有 GUI 智能体方法存在建模复杂等问题，Ferret-UI Lite 性能有竞争力，训练采用两阶段流程，还给出应用建议。

上交大与 vivo 团队提出 C²FG 方法，针对当前 diffusion 模型缺稳定可控生成机制问题，通过 score 差异实现动态引导控制。实验显示，该方法能提升多维度指标，改进生成分布，揭示生成机制新方向。

小米具身智能团队发布首篇论文，提出统一具身智能与自动驾驶的新模型MiMo-Embodied。该模型在多任务中领先，其四阶段训练框架打通两领域边界，为行业提供新范式。