「预训练数据精炼」共找到 3915 篇相关文章
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
智谱AI发布桌面Agent，轻松训练 AI数字员工
智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。
IROS 关键圆桌：到底应该模型驱动，还是数据驱动？
10月20日，美团在IROS大会期间举办学术年会，多位嘉宾围绕具身智能商业化等议题展开探讨。圆桌嘉宾就第一性原理、软硬件体系、模型与数据驱动等话题各抒己见，还谈及机器人最终形态并勉励年轻人。
一群年轻人，正在训练AI宠物的灵魂 | 甲子光年
文章讲述了芯宠工场团队训练AI伴宠Lito的过程。通过各种试验，Lito能做出预设外反应，其‘灵魂’在与人类互动中生长。团队面临功能与情感的抉择，市场上也有其他创业者挖掘AI情感陪伴赛道。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
微软 SkillOpt：不动模型权重，只训练那份「技能说明书」
微软研究院 Yifan Yang 等人推出 SkillOpt，思路反直觉，不动模型权重，把「技能文档」当可训练参数。它在 52 个组合中表现最优，技能可迁移，代码已开源，还支持多操作。
大模型"温故而知新"实现了！无需历史数据，Octopus 效果超越全数据训练｜CVPR‘26 Octopus
上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。
钢铁版OpenClaw，Transformer作者用Rust打造，告别数据裸奔
OpenClaw开源后虽发展迅速，但存在严重安全问题，如数据明文处理、隐私保护缺失、恶意组件等。Transformer论文作者Illia Polosukhin用Rust打造IronClaw，重构底层架构，升级记忆引擎，还指向去中心化经济。
英伟达Jim Fan：「世界建模」是新一代预训练范式
英伟达机器人主管Jim Fan判断，继“下一个词预测”后，世界建模将成新预训练范式，2026年大世界模型将为多模态AI奠基。他还讨论世界模型定义、应用，展望新推理形式，业内人士也各抒己见。