「预训练范式」共找到 2905 篇相关文章
Ilya重磅发声：Scaling时代终结！自曝不再感受AGI
Ilya在与主持人Dwarkesh Patel的深度访谈中爆出惊人观点，认为Scaling时代已终结，我们正走向研究时代。他指出当前技术路线后劲不足，模型泛化能力远逊人类，还探讨了AI发展的诸多关键问题。
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
NeurIPS 2025｜VFMTok: Visual Foundation Models驱动的Tokenizer时代来临
传统视觉 Tokenizer 存在缺乏高层语义信息、冗余度高、表征混乱等问题。香港大学 CVMI Lab 和阶跃星辰 AIGC 团队提出 VFMTok，用预训练视觉基础模型构造视觉 Tokenizer，实验显示其性能优异。
谢赛宁团队用RAE实现从8%到84%的飞跃，宣告VAE时代结束
谢赛宁团队用RAE新架构将ImageNet图像生成FID刷到1.13，宣告VAE组件过时。RAE结合先进表征学习成果与强大生成模型框架，解决诸多问题，还为其高维潜空间定制DiTDH架构，性能优异。
Andrej Karpathy回应强化学习之父Sutton最新观点「LLM是“死路一条”」
图灵奖获得者、强化学习之父Richard Sutton认为当前热门的大语言模型是“死路一条”，因其缺乏从实际互动中学习的能力。AI大神Andrej Karpathy认同其批评，认为当前LLM是向现实妥协的产物，还提出了“幽灵”比喻。
最好的 DeepResearch 平替开源了
ROMA是元代理框架，以递归分层结构解决复杂问题，有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务，介绍了安装选项、技术栈，还有预构建代理展示功能。
别只盯着李飞飞！AI的「3D数据底座」已被这家中国公司悄悄建好
群核科技构建具身智能时代的「3D版ImageNet」，其SpatialVerse平台为机器人提供三维数据与仿真环境。借助新技术发布全球首个3D语义数据集InteriorGS，还与多机构合作，成果获学术和产业认可。
普通程序员怎样转到AI方向拿到更好的offer
在AI研究员拿天价offer的当下，探讨普通程序员转AI方向拿更好offer的方法，还介绍了AI生态的五个层次，包括各层岗位、年薪及容量。
突破全模态AI理解边界：引入上下文强化学习，赋能全模态模型“意图”推理新高度
在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。