「多模态指令」共找到 1161 篇相关文章
阿里首个世界模型：快乐…生蚝
刚成立一个月的阿里ATH事业群发布全球首个主动式实时交互世界模型HappyOyster（快乐生蚝），它搭载原生多模态架构，有漫游、导演、创造、分享等玩法，目前需邀请码体验。其技术突破让它区别于传统文生视频模型。
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。
视觉+语言+动作！超强具身“训练宝典” EmbRACE-3K
视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
这个新生图模型有点夯：4K直出的，国产的，开源的！
商汤新开源的生图模型SenseNova U1.5-Lite-Preview亮点十足，它是国产、4K直出、轻量且可指哪儿改哪儿的原生统一多模态模型。能应对复杂创作和编辑任务，技术源于NEO-Unify架构，评测成绩佳，不过还是早期预览版。
准确回答视频细节！11B模型挑战视频理解「证据级」任务，开源可商用
近日，复旦大学邱锡鹏教授领衔的OpenMOSS团队联合模思智能开源11B参数的多模态视觉理解模型MOSS-VL。它能准确回答视频里可被验证的细节、时间、过程和空间关系，有六项证据级能力，架构设计独特，采用Apache2.0开源许可。
Karpathy的软件3.0：Agent的原生世界
OpenAI联合创始人Andrej Karpathy在Sequoia Ascent大会上表示，AI Agent正改变软件与工作模式。编程基本单位从写代码变为给Agent下达指令，软件3.0以上下文窗口为程序，LLM为解释器。他还提出理解AI能力分布的框架，给出创业建议。
大模型外挂“三维物体知识库”来了，大幅增强机器人长程自主操作能力
现有视觉语言大模型（VLM）能让机器人理解指令，但在操作中缺三维空间知识。近日研究提出 RAM 框架，它像“三维物体知识库”，为 VLM 补充空间知识，经 14 项实验验证其操作能力，还探索了在铰接与柔性物体操作中的应用。
全球唯二、国内首个，阿里万相2.6杀疯！Sora 2瞬间不香了
阿里万相2.6系列模型上线，成为业界功能最丰富的视频模型，是全球唯二、国内首个具备角色扮演功能的模型。其音画一体，能生成15s长视频，指令遵循能力强。还可将提示词转换为多分镜脚本，团队公开了提示词公式。
开源模型叫板Nano Banana Pro！Stable Diffusion原班人马杀回来了
时隔一年，上一代AI生图顶流Flux带着新模型Flux.2杀回来了。该模型发布即开源，生图质量媲美谷歌Nano Banana，价格却便宜得多。它有多个版本可选，实测在指令遵循、精细控制方面有进步，但与Nano Banana Pro仍有差距。