「两阶段监督微调」共找到 1090 篇相关文章
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。
从最优传输角度训练奖励模型：让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM，基于最优传输训练奖励模型。它重构训练目标，通过选择性分布对齐排除噪声偏好，解决了奖励模型训练中监督信号不可靠的问题，实验验证其有效且泛化能力好。
清华团队预言：90%的人将脱离谋生劳动，「零人公司」时代来了！
清华沈阳团队基于研究与实践提出四大颠覆判断，如AI走向「人机隔离」、未来公司只剩一人或零人等。团队在模型训练、微调等多方面有成果，还探讨行业应用、知识范式颠覆等，描绘AI发展图景。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
元宝派、文心、UC…为什么BAT都急着给AI拉群？｜甲子光年
近期，腾讯、百度、阿里等巨头纷纷推出AI群聊功能。这一产品形态源于ChatGPT测试，技术和市场因素使其受关注。AI群聊不仅是社交延伸，更能改变交互范式，或成AI时代入口，目前尚处试水阶段。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
小红书提出社交大模型RedOne 2.0：兼听、敏行
在SNS内容爆炸式增长的当下，传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型，采用以RL为核心的三阶段渐进式训练方法，实验显示其性能优异，还能转化商业价值。
AgentFS：把SQLite作为智能体状态存储
SQLite适合记录代理状态等，但在Agent系统中缺优雅应用案例。AgentFS是基于SQLite为AI智能体设计的状态管理系统，核心是Turso实现的存储系统，结合三个关键组件，提供四个主要组件，目前处Alpha阶段。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
AI Code要变天了，Meta首个代码世界模型登场！
Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。