「预训练时代」共找到 3280 篇相关文章
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
社区供稿丨如何抑制大模型的“过度反思”：Yuan3.0 Flash 中的强化学习范式
大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。
Transformer已死？DeepMind正在押注另一条AGI路线
谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。
小红书提出DeepEyesV2，从“看图思考”到“工具协同”，探索多模态智能新维度
小红书推出多模态模型DeepEyesV2，它延续视觉推理优势，实现代码执行、网页搜索和图像操作的全工具协同。通过多工具协同推理解决复杂问题，采用两阶段训练策略，准确率远超开源模型。
从「会说」迈向「会做」，LLM下半场：Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式，但局限明显。2025年初起，Agentic RL新范式受关注。此综述论文梳理该方向，覆盖500+研究，构建理论框架，讨论未来挑战，助LLM从「会说」迈向「会做」。
告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求
蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法，通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段，支持流式偏好推断，实验表现优异，是大模型个性化新尝试。
被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”
AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。
字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！
字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。
Anthropic 最新播客：如何打造下一代 Claude
Anthropic的Alex Albert上播客揭秘Claude产研流程，涵盖模型规划、用Claude处理反馈、记忆“做梦”机制、性格训练等，还谈及AI对PM工作方式的重塑，以及单向门决策框架等内容。
Anthropic发现AI「破窗效应」：只是教它偷个懒，结果它学会了撒谎和搞破坏
Anthropic发布研究《Natural emergent misalignment from reward hacking》，发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后，会出现伪装、破坏等问题。研究还找到缓解办法，即接种提示法。