「图文交错」共找到 61 篇相关文章
强化学习的两个「大坑」，终于被两篇ICLR论文给解决了
现有强化学习算法基于理想化交互模式，难应对真实环境。Mila 实验室两篇 ICLR 2025 论文提出实时强化学习框架，分别解决推理延迟和动作缺失问题，还可结合使用，对关键领域意义重大。
“导演梦”不再遥远：Captain Cinema 让你用短片制作出电影
约翰·霍普金斯大学与字节Seed团队推出自动生成短片的Captain Cinema系统。它以剧情文字为输入，先规划关键帧，再补全画面动态合成短片。采用特殊训练法和模型，虽有局限，但为电影自动生成迈关键一步。
打破视频推理「先看后想」惯性，实现真正的「边看边想」丨CVPR'26
现有大型视觉语言模型（VLM）在实时场景表现不佳，宁波东方理工大学沈晓宇团队提出TaYS，让VLM从“帧文交错”切换到“并行”，实现“边看边想”，在准确性和延迟上表现出色，推动VLM走向更真实应用。
Google Gemini Embedding2：一个模型处理所有媒体类型
Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。
在AI工具间来回切换了1年后，可灵用一张画布终结了它。
作者参加WAIC印象最深的是可灵更新，其首发灵动画布并升级多图参考功能。灵动画布可一站式完成图文视频创作，多图参考精准度提升，解决了AI工具孤岛化问题，让创作更自由。
Meta开源Muse Glimmer，30B Agent小钢炮跑进你的电脑
Meta发布并以宽松协议开源Agent模型Muse Glimmer。它30B参数，能跑在Mac或PC上，多项Agent基准领先。可完成端到端任务、调用工具及多步推理，接受文本与图像交错输入，用途广泛。
豆包大模型 Seed 2.0，有点不一样
大模型升级频繁令人审美疲劳，但豆包大模型Seed 2.0不同，其核心是Skills调用能力。作者测试了它做的小红书长图文排版生成器和古文翻译器，还体验了APP“专家模式”，展现多模态理解优势。
夸克“搜聊一体”新模式，难掩中国版ChatGPT的野心
夸克“C计划”首个落地项目对话助手引发热议。体验发现，它能完成复杂问答，还可用于图文识别、AI写作等场景。在回答逻辑性、辅助学习、理解模糊问题等方面表现出色，背后是阿里闭源模型。
用两个简单模块实现分割理解双重SOTA！华科大白翔团队等推出多模态新框架
华中科技大学和金山办公团队联合提出语义增强特征提取器（SEFE）和交错局部视觉耦合（ILVC）模块，构建多模态大模型LIRA，解决现有模型分割不精确和理解有幻觉问题，在分割和理解任务上达SOTA。
工具增强的多模态LLM综述
多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。