「预训练」共找到 2194 篇相关文章
NeurIPS 2025｜VFMTok: Visual Foundation Models驱动的Tokenizer时代来临
传统视觉 Tokenizer 存在缺乏高层语义信息、冗余度高、表征混乱等问题。香港大学 CVMI Lab 和阶跃星辰 AIGC 团队提出 VFMTok，用预训练视觉基础模型构造视觉 Tokenizer，实验显示其性能优异。
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
谢赛宁团队用RAE实现从8%到84%的飞跃，宣告VAE时代结束
谢赛宁团队用RAE新架构将ImageNet图像生成FID刷到1.13，宣告VAE组件过时。RAE结合先进表征学习成果与强大生成模型框架，解决诸多问题，还为其高维潜空间定制DiTDH架构，性能优异。
Andrej Karpathy回应强化学习之父Sutton最新观点「LLM是“死路一条”」
图灵奖获得者、强化学习之父Richard Sutton认为当前热门的大语言模型是“死路一条”，因其缺乏从实际互动中学习的能力。AI大神Andrej Karpathy认同其批评，认为当前LLM是向现实妥协的产物，还提出了“幽灵”比喻。
最好的 DeepResearch 平替开源了
ROMA是元代理框架，以递归分层结构解决复杂问题，有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务，介绍了安装选项、技术栈，还有预构建代理展示功能。
普通程序员怎样转到AI方向拿到更好的offer
在AI研究员拿天价offer的当下，探讨普通程序员转AI方向拿更好offer的方法，还介绍了AI生态的五个层次，包括各层岗位、年薪及容量。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。
Token烧不起了？比肩Claude Opus 4.6免费模型来了，还将开源
昆仑万维旗下天工AI发布SkyClaw - v1.0，为Agent场景深度优化，免费试用后将开源，价格低。性能超同级别开源对手，逼近闭源巨头。训练围绕环境构建、数据合成、强化学习展开，适合长链路Agent工作流。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
全员本科生！何恺明组新作：文生图，258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I，基于MM - JiT架构，仅用258M参数实现不错效果，训练成本低。该架构删繁就简，去掉VAE和AdaLN等模块，性能提升，展现出与工业级模型的竞争力。