「预训练框架」共找到 3463 篇相关文章
阿里搞了个全能解析器，文档、图片、音频、视频一锅端
阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
社区供稿丨如何抑制大模型的“过度反思”：Yuan3.0 Flash 中的强化学习范式
大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。
从「会说」迈向「会做」，LLM下半场：Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式，但局限明显。2025年初起，Agentic RL新范式受关注。此综述论文梳理该方向，覆盖500+研究，构建理论框架，讨论未来挑战，助LLM从「会说」迈向「会做」。
集成20+先进算法，优于GPT-4o，自主因果分析智能体来了
加利福尼亚大学圣迭戈分校研究团队提出自主因果分析智能体 Causal - Copilot，集成超 20 种算法。它解决因果分析使用门槛高、预训练模型有局限等问题，性能优于 GPT - 4o ，已开源邀全球研究者参与。
谢赛宁团队新作：不用提示词精准实现3D画面控制
谢赛宁团队新发布的Blender Fusion框架，结合图形工具 (Blender) 与扩散模型，让视觉合成不再仅依赖文本提示，实现精准画面控制。其核心是对现有技术高效组合，还透露两项训练技巧提升泛化性。
ICML'25 | 告别手动SFT！一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。
动态RAG新工作：效果爆了，代码已开源
大语言模型幻觉问题突出，现有动态RAG方法信号不可靠。QuCo-RAG从预训练语料库挖掘统计证据，用客观频率替代主观置信度，实现毫秒级幻觉检测与动态检索触发，代码已开源。
刚被马斯克收购，Cursor掏出新模型：10万卡加持，和Opus、GPT一样大
本周二，刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型，在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当，还谈了对其他AI实验室看法，新模型将几周内发布。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。