「多模态理解与生成」共找到 3413 篇相关文章
谷歌神秘模型Kingfall泄漏！
近日，谷歌AI模型Kingfall在AI Studio平台短暂开放后意外曝光。它具备多模态处理能力，上下文窗口6.5万个token，有两种模式。生成SVG矢量图能力超Claude 4，身份猜测不断。
AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！
匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。
上下文工程（Context Engineering）综述：大模型的下一个前沿
文章提出“上下文工程”学科，通过整合1400余篇论文构建“基础组件 - 系统实现”框架。它将上下文定义为动态结构化信息集合，揭示LLMs理解强于生成的矛盾，为AI研究指明方向。
李飞飞最新长文火爆硅谷
AI教母李飞飞发表长文，首次系统性解释空间智能，提出真正具有空间智能的世界模型须具备生成、多模态、交互三个核心能力，还分享World Labs进展及世界模型在多领域的潜力。
开源多模态大模型EarthMind，观测地球统一框架
地球观测数据复杂，现有多模态模型难适用。意大利、德国多所高校研究人员联合开源多模态大模型EarthMind，引入空间注意力提示模块，实现跨模态融合和多粒度理解，解决地球观测难题。
RL加持的3D生成时代来了！首个「R1 式」文本到3D推理大模型AR3D-R1登场
强化学习首次被系统性拓展到文本到3D生成领域，上海人工智能实验室等机构研究者提出首个强化学习增强的文本到3D自回归模型AR3D - R1，还提出Hi - GRPO范式和MME - 3DR基准，实验显示其性能优异。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
警告：你的Agent可能无法"解决"真实世界的视觉问题
文章提出 AgentVista 评测基准，含 209 道任务，横跨 7 大领域 25 个子方向。评测 14 个主流模型，最强的 Gemini - 3 - Pro 准确率仅 27.27%，揭示多模态 Agent 在视觉理解、工具调用等方面挑战大。
V4Flash 的价格、Opus4.8的能力，Ox Alpha （牛来）正式开源！
Ox Alpha 匿名模型上线 OpenRouter 后表现亮眼，消耗大量 tokens 并终结 DeepSeek 霸榜纪录。官方揭晓其为智谱 GLM - 5.3 Flash，价格低、能力强，经多场景测试，多模态理解等维度达顶尖水平。
港大开源视频版RAG，像聊天一样看完百小时纪录片。
港大HKUDS团队开源超长视频理解框架VideoRAG，突破传统模型时长限制，支持对数百小时视频精准检索和问答。还有桌面应用Vimo，使用简单高效。介绍了其切片索引、混合检索、生成回答的实现逻辑。