搜索：AI预训练范式

「AI预训练范式」共找到 11383 篇相关文章

叛变！OpenAI亲儿子竟然选了Kimi K3

OpenAI投资的法律AI公司Harvey，首个自研模型Harvey Tenet选中国开源模型Kimi K3作底座。因原用闭源模型成本高、有竞争风险。Tenet训练成本低、性能佳，显示出可复制路径。

Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。

中国人民大学团队提出全新LLM记忆管理框架MemSifter，打破长时记忆管理‘精度不够’和‘成本太高’的困局。它将记忆检索‘外包’给轻量级代理模型，采用任务结果导向的RL训练范式，在8个基准测试中超越现有SOTA方案。

弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。

上海交大智能计算研究院提出 StepORLM，通过生成式过程监督提升运筹建模可靠性。研究反思传统训练范式局限，在多数据集测试中，小参数的 StepORLM 表现超大型模型，还分析现有方法缺陷并提出解决框架，有重要方法论和应用意义。

美的AI研究院和华东师范大学联合提出ChatVLA - 2模型，引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%，远超现有方法，为通用机器人控制提供新思路。

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。

杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。

今年 9 月，OpenAI 与 Stripe 联合推出 ACP，重新定义支付。本文整理了 Stripe 的 Head of Data & AI Emily 的访谈，介绍 ACP 本质、Stripe 与 AI 公司的商业模式探索，以及 Stripe 自身的 AI 应用和对 AI 宏观影响的看法。

Epoch AI安排40位数学家组成8支战队，与OpenAI的o4 - mini - medium模型对决，考题来自高难度的FrontierMath数据集。结果AI以6:2击败人类，不过Epoch AI认为AI未明显超人类，但很快会达到。