「预训练研究」共找到 3700 篇相关文章
Meta正炼化老板：24小时不间断工作，扎克伯格真成机器人了
《金融时报》爆料，扎克伯格正将自己炼成“代理CEO”扎克bot，由其影像和语音数据训练，本人也参与其中。超级智能实验室攻克相关技术难题，Meta还开发“CEO Agent”，但项目上线或面临问题。
agent未来落地的收敛形态
当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。
阿里搞了个全能解析器，文档、图片、音频、视频一锅端
阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
社区供稿丨如何抑制大模型的“过度反思”：Yuan3.0 Flash 中的强化学习范式
大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。
小红书提出DeepEyesV2，从“看图思考”到“工具协同”，探索多模态智能新维度
小红书推出多模态模型DeepEyesV2，它延续视觉推理优势，实现代码执行、网页搜索和图像操作的全工具协同。通过多工具协同推理解决复杂问题，采用两阶段训练策略，准确率远超开源模型。
告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求
蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法，通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段，支持流式偏好推断，实验表现优异，是大模型个性化新尝试。
性能提升11.74%！腾讯优图提出激励推理，专攻复杂指令
现有大语言模型处理复杂指令能力不足，腾讯优图研究团队提出激励推理方法。该方法能提升LLM处理复杂指令表现，在1.5B参数LLM上性能提升11.74%，媲美8B参数模型。
字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！
字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。
南开 && UIUC | SearchAgent-X，打破「效率瓶颈」，让复杂「AI搜索智能体」走向现实
南开大学和伊利诺伊大学厄巴纳 - 香槟分校的研究提出SearchAgent - X框架，解决大型语言模型驱动的搜索智能体效率痛点。它剖析制约效率的原因，通过两大‘加速引擎’优化性能，实验显示效果显著。