搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

啊？微博7800美元训的大模型，数学能力超了DeepSeek-R1

近日，微博发布自研开源大模型VibeThinker，15亿参数却在数学测试上击败6710亿参数的DeepSeek R1，后训练成本仅7800美元。其为AI产业带来新思考，还将推动微博AI应用发展。

近期 OpenAI 多款未发布新模型登场，一款疑是“伪装的 GPT - 5”，一款编程赛获第二。宣称在 IMO 获金牌的模型遭质疑，谷歌 DeepMind 同获金牌评价更好。OpenAI 前员工编程赛赢老东家模型。

腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。

DeepSeek 最新的 V3.1 模型上线不到一周，因离奇 Bug 引发社区热议。无论执行何种任务，模型总会在文本中插入「极」字，自我修复时也无法避免，还存在多语言混用问题，网友猜测原因多为「数据污染」。

MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。

北大王选所彭宇新团队在论文中提出TARA方法，引入生物分类学知识与多模态模型中间表征对齐。实验显示，TARA能提升模型层级识别和未知类别识别能力，还可加速训练收敛，计算开销小。

北大团队提出 INP - CC 模型重塑开放词汇 HOI 检测。它提出交互感知提示生成和概念校准两项创新，结合输入图片特性构造提示集合，引入‘困难负样本采样’策略，在两大数据集上表现超 SOTA。

5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。

STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。

360人工智能研究院发布 FG - CLIP 模型，攻克图文细粒度对齐难题，成果被 ICML 2025 接收并开源。它采用双阶段训练等策略，在多任务评测中超越对比模型，推动跨模态研究产业化落地。