搜索：双预训练架构

「双预训练架构」共找到 3645 篇相关文章

苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器

如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。

苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。

10月，AI圈顶流Andrej Karpathy有三连动作：开源nanochat项目，100美元可复刻ChatGPT；发表AGI十年论，给行业泼冷水；推进Eureka教育项目，重构AI教育范式。

谷歌DeepMind与陶哲轩等打造的AlphaEvolve是LLM驱动的进化编码Agent。它能优化计算生态、调度数据中心等，还解决了数学难题，已在谷歌内部使用，现开启早期邀测试用。

DeepSeek宣布大规模扩张，各部门规模至少扩一倍。其发力点包括底层算力与系统优化、高质量数据、Agent与应用落地及探索Next Level科研。用人反内卷、反官僚，岗位接受实习，还新增AGI核心业务管培生。

企业把AI接入内网，认证令牌风险大，阻碍全面接入内部API和数据库。Anthropic为Claude Managed Agents提出自托管沙箱和MCP隧道两个新解法，核心是让凭证控制权留在网络边界，还介绍了相关沙箱服务商。

面壁智能开源多模态模型MiniCPM-V 4.6，以低算力成本、超低首Token延迟打通三大主流手机操作系统。它算力瘦身性能强，是视觉语言多面手，还适配主流系统，降本增效，让AI能力从云端到指尖。

清华大学智能驾驶课题组 iDLab 与加州大学伯克利分校人工智能研究院 BAIR联合发表研究，提出 MVP 策略。它引入瞬时速度约束解决均值流学习问题，设计复合生成与选择机制，在多任务测试中表现出色。

近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。

网友 GpsTracker 爆料，埃隆·马斯克旗下 xAI 公司的 Grok 3 模型在“思考模式”下自称是竞争对手 Anthropic 公司的 Claude 3.5。网友提供对话记录和 21 页 PDF 佐证，引发社区对模型异常原因的讨论。