搜索：视觉语言预训练

「视觉语言预训练」共找到 3302 篇相关文章

图片生成仿真！这个AI让3D资产「开箱即用」，直接赋能机器人训练

南洋理工大学与上海人工智能实验室团队提出PhysX - Anything，首个面向仿真、具物理属性的3D生成框架。它仅需单张图像就能生成可用于仿真的3D资产，在多项测试中表现优异，有望推动3D重建范式转变。

北京人形机器人创新中心推出 Humanoid Occupancy 感知系统，创新性融合多模态传感器信息，构建通用感知框架。它以语义占用表征为核心，有全编码和适配融合优势，经实验验证性能优，推动机器人迈向通用感知时代。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

伯克利团队提出新方法InFOM，不依赖奖励信号，能在多任务中超强迁移与推理。在36个基于状态和4个基于图像的任务测试中，InFOM表现出色，在jaco任务上改进达20倍。

清华大学和快手可灵团队推出DiffMoE，通过创新的动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。实验表明，DiffMoE在多方面超越现有模型，未来集成先进技术或有新增益。

3月27日，深度机智联合推出具身通用智能基座模型系统PhysBrain 1.0，引入人类第一视角数据，解决传统模型问题。其创始人陈凯等坚持用此数据构建模型，突破传统，引领行业新方向，且中国在具身智能领域或借此建立自主技术体系。

使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。

清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。

随着AI发展，推荐系统面临诸多问题，快手技术团队提出OneRec，以端到端生成式架构重构推荐系统全链路，在效果与成本上实现突破，已在快手双端服务用户，也有需完善之处。

上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。