「持续预训练」共找到 2562 篇相关文章
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
大突破！实验证明，RL能为LLM注入“创新”能力
此研究挑战‘RL不教新技能’观点，通过‘字符串转换预测’实验证明，RL能让LLM学会组合已有原子技能，形成可泛化、迁移的元技能，还给出模型能力提升路径。
代码里插广告，腾讯 Codebuddy 们 “背锅”？DeepSeek “极你太美”事件，其他模型也逃不掉？
网友发现腾讯 Codebuddy 改写代码时插入广告，字节 Trae 国内版有随机出现“极”字的 bug，根源指向 DeepSeek V3.1。此外，Gemini、Grok、Qwen3 等模型也有类似问题。目前对原因有三种猜测，部分被学者否定。
ICML 2025 Oral！北大和腾讯优图破解AI生成图像检测泛化难题：正交子空间分解
OpenAI推出GPT - 4o图像生成功能，AI生图安全挑战凸显，区分生成与真实图像成难题。北大与腾讯优图研究人员用正交子空间分解解决AI生图检测泛化难题，论文被ICML 2025接收。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
年度AI论文！全球三大顶尖模型的防蒸馏机制全面告破：小模型“套出”大模型隐藏思维链，Kimi-K3重现概率异常
这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。
马斯克「世界模拟器」首曝，1天蒸馏人类500年驾驶经验！擎天柱同脑进化
特斯拉官宣「世界模拟器」，可模拟、合成自动驾驶的「孪生世界」，生成不同视角和长尾场景。它基于端到端神经网络，有学习人类价值观等优势。还能用海量数据解决难题，输出可解释中间结果，为自动驾驶和擎天柱训练服务。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
Cursor发布Composer 2：专攻代码的模型，价格只有GPT-5的零头
Cursor本周发布自研编程模型Composer 2，只攻代码生成。其得分提升，超Claude Opus 4.6，接近GPT - 5.4 Thinking。训练基于代码数据，处理复杂编程任务准确度高，价格远低于竞品。这是Cursor全栈布局，欲掌握AI编程主动权。
王兴一鸣惊人！美团首个开源大模型追平DeepSeek-V3.1
美团首个开源大模型Longcat-Flash-Chat发布即引发热议。它在部分benchmark上超DeepSeek-V3.1等，编程能力也出色。技术报告透露美团对大模型的理解，还有新发现，且性能好、训练效率高。