「分阶段训练」共找到 2147 篇相关文章
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
NeurIPS 2025｜VFMTok: Visual Foundation Models驱动的Tokenizer时代来临
传统视觉 Tokenizer 存在缺乏高层语义信息、冗余度高、表征混乱等问题。香港大学 CVMI Lab 和阶跃星辰 AIGC 团队提出 VFMTok，用预训练视觉基础模型构造视觉 Tokenizer，实验显示其性能优异。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
Token烧不起了？比肩Claude Opus 4.6免费模型来了，还将开源
昆仑万维旗下天工AI发布SkyClaw - v1.0，为Agent场景深度优化，免费试用后将开源，价格低。性能超同级别开源对手，逼近闭源巨头。训练围绕环境构建、数据合成、强化学习展开，适合长链路Agent工作流。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
全员本科生！何恺明组新作：文生图，258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I，基于MM - JiT架构，仅用258M参数实现不错效果，训练成本低。该架构删繁就简，去掉VAE和AdaLN等模块，性能提升，展现出与工业级模型的竞争力。
从「片段生成」到「长视频漫游」：OmniRoam探索轨迹可控的长视频生成新范式
在生成式视频发展中，长时序视频生成面临挑战。研究者提出 OmniRoam 新方法，通过全景表示和分阶段生成框架，提升视频时空一致性，还构建数据评测体系，实验表现优，有效率和 3D 应用潜力。
统一VLA范式！港科大开源StarVLA乐高式架构，复现成本大幅降低
当前具身智能的VLA赛道陷入「碎片化」泥潭，方法难对比、复现成本高。港科大开源StarVLA，提出「乐高式」统一架构，构建模块化开源底座，实现双向模块化，还支持多种训练范式，打通Sim2Real。