「预训练策略」共找到 2842 篇相关文章
ICML 2025 | 给AI装上「智能升级插件」！阿里安全-清华大学D-MoLE让模型在持续学习中动态进化
近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战，实验显示其性能优、训练快，还能用于提升阿里安全审核模型适应力。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。
AI 领域新动向！持续思考模型CTM横空出世：AI 向生物智能迈出重要一步
Sakana AI 推出新型 AI 模型 CTM，重新引入「时间」和「神经元动态」到 AI 计算核心。它有诸多创新，在迷宫探索、图像识别等任务表现出色，虽有训练慢等不足，但为 AI 向生物智能迈进提供新思路。
“龙虾”也需要看病？一张旧病历，引出三个新确诊
本文是悟空Agent泛化能力系列先导篇，以OpenClaw项目为例，介绍其通过不同泛化策略发现三个新漏洞，还总结实践原则。强调研究泛化能力对防御漏洞的重要性，4月底悟空Agent将开放试用。
英伟达拿出推理版VLA：Alpamayo-R1让自动驾驶AI更会动脑子
当今自动驾驶模型虽强大，但在‘长尾场景’易翻车。英伟达推出的Alpamayo - R1是带推理能力的视觉 - 语言 - 行动模型，有核心创新，实验中性能显著提升，训练分三阶段，让自动驾驶迈向可解释。
25000 美元卖公司内部截图，丢了饭碗还要吃牢饭！大厂百万年薪抢招“内鬼分析师”，围剿下一个“自己人”
全球顶尖网络安全公司CrowdStrike遭“内鬼”泄密，黑客以25000美元收买员工获内部截图。如今全球大厂高薪抢招“内鬼分析师”，但构建内部威胁框架不易，需分层协作的安全与文化策略。
具身智能一步踏入Scaling Law！10B+基础模型，27万小时真实数据
AI机器人创业公司Generalist推出新型具身基础模型GEN-0，参数量10B+，专为多模态训练构建。该模型展现强大Scaling Law，能力可扩展，有和谐推理等特性，在多方面有突破，成果备受赞誉。
超越 Prompt 和 RAG，「上下文工程」成了 Agent 核心胜负手
本文称「上下文工程」成 Agent 核心胜负手，它指在正确时间为 Agent 提供正确信息，超越 Prompt 和 RAG。文章归纳五大策略，如转移、压缩等，并结合 *The Bitter Lesson* 启示，探讨构建面向未来的 AI Agent。
1M 上下文时代太费 Token，告诉你我的 Coding Agent 省钱方法
当下GPT-5.5等模型原生支持1M上下文，虽能支撑长任务，但易被噪音干扰且费Token。作者以Claude Code为例，介绍做好会话管理的多种省钱方法，如根据任务选择会话策略、利用rewind功能等。