「多阶段训练」共找到 5962 篇相关文章
ICML 2025 | 如何在合成文本数据时避免模型崩溃？
随着生成式AI发展，合成数据成大模型训练重要部分，但可能引发“模型崩溃”。ICML 2025会议上，上交大等团队剖析此问题，提出Token - Level Editing策略，避免模型崩溃，实验验证了其有效性。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
基于DINOv2和SAM2改进的U-Net模型
DSU-Net是基于DINOv2和SAM2改进的U-Net模型，通过多尺度跨模型特征协作和轻量级适配器模块，解决现有图像分割模型在特定下游任务表现不足问题，提升分割精度，降低训练成本。
CVPR 2026 | 谷歌DeepMind重磅开源多模态TIPSv2：实现Patch-Text对齐的最优表现
谷歌DeepMind推出多模态TIPSv2，解决图像块与文本嵌入对齐难题。它有三大核心技术创新，在9项任务和20个数据集表现出色，特征图优势显著，且配套生态完善，为AGI预训练指明方向。
国内版的 NotebookLM 来了，甚至更强
谷歌的AI笔记软件NotebookLM虽好但国内使用不便，秘塔AI搜索的「专题」功能升级，堪称国内版NotebookLM，还在人设、协作等方面创新，更贴合中文用户习惯，可能成国内AI搜索新阶段标志。
紫东太初推出GMC核心集剪枝方法，少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。
英伟达把8个AI和8台机器人关在一起，它们学会了自己做实验
英伟达高级研究科学家公布“ENPIRE”项目，8个AI与8台机器人组成科研团队，能自主做实验。研究测试三种coding agent，Codex表现最佳。系统分两阶段，虽有局限但有新发现。
Transformer已死？DeepMind正在押注另一条AGI路线
谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。
从「会说」迈向「会做」，LLM下半场：Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式，但局限明显。2025年初起，Agentic RL新范式受关注。此综述论文梳理该方向，覆盖500+研究，构建理论框架，讨论未来挑战，助LLM从「会说」迈向「会做」。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。