「预训练模型」共找到 8160 篇相关文章
VaseVQA：考古领域实现专家级，诊断+补弱RL框架
在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
中年人的认知坍塌
Andrej Karpathy在播客提到模型持续用合成数据训练会出现‘认知坍塌’，能力退化。他认为人类随年龄增长和经验固化，也会从无限可能收敛到固定思维模式，像极了中年人的认知坍塌。
千人千面的真人级AI名师，劈开教育「不可能三角」
与爱为舞推出的AI导师能个性化教学，服务百万用户。其用「模型+语音+工程」铸造技术巨剑。经训练，AI可驾驭课堂，再经自研语音模型实现交互，通过链路优化等实现规模化落地，践行「全员皆超级个体」理念。
“边说边思考”，Mini-Omni-Reasoner 开创实时语音推理新范式
Mini - Omni - Reasoner将推理能力引入大型语音模型，开创“边说边思考”范式，实现实时语音推理与交互。推出Spoken - Math - Problems - 3M数据集，经四阶段生成流程构建。训练采用分阶段策略，性能超基础模型。
LLM的下一战：从狂卷数据到精算数据
大模型竞争核心正从比拼数据规模转向数据使用效率和风险管理。文章分享2025两篇论文，介绍高效训练和机器遗忘两赛道，前者有数据价值飞轮5大模块，后者提出三时段分类法、三层次遗忘及评价指标全景。
一个标点就能迷惑LLM-as-a-Judge！
论文揭露惊人漏洞，一个标点或通用推理开场白就能欺骗最先进的LLM裁判，导致强化学习训练崩溃。研究通过实验验证漏洞，提出Master - RM模型，其FPR近乎0%且保持通用裁判能力。
说句话，造个3D世界！腾讯VibeWorlding氛围造世界
香港科技大学（广州）和腾讯团队开源VibeWorlding框架，实现说句话造3D世界。它由VWE - Bench和VibeWorlding - Gym组成，开源模型经强化学习训练后成绩逆袭，证明强化学习解锁3D推理潜力巨大。
上海AI Lab、浙大EagleLab等提出RRVF：利用「验证非对称性」，只输入图片学习视觉推理
上海AI Lab、浙大EagleLab等联合完成研究，提出RRVF框架，利用「验证非对称性」，仅输入图片学习视觉推理。它构建闭环系统，通过迭代推理、视觉反馈等步骤训练模型，实验显示效果佳，证明验证法则力量。
国产AI首次「长出」原生记忆，非Transformer架构成新王！机器狗当场引爆WAIC
WAIC世界人工智能大会上，国产黑马RockAI的大模型Yan 2.0 Preview亮相，可多终端无损部署。它基于非Transformer架构，训练效率高，有原生记忆，实现端侧AI，展现出自主学习和多模态能力，引发关注。