「多模态理解与生成」共找到 3438 篇相关文章
Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间
Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。
飞书合作的第一款AI硬件来了，居然是个AI录音豆。
飞书与安克创新合作推出首款AI硬件——AI录音豆。该产品小巧便携，可夹在衣服或吸附金属上，有飞书生态，录音质量好，自带底噪抑制，录音后能自动同步云端，快速生成会议纪要，还支持实时翻译。
关于 AI Agent，你最想知道的 3 个问题——为什么我说“垂直 Agent”是个伪命题
文章解答了关于 AI Agent 的三个读者问题，包括概念定义、大厂推出的原因及商业化前景、通用与垂直类 Agent 的商业前景。指出 Agent 是 AI 落地有价值方向，目前有挑战，真正机会在围绕其构建的数据、工具和行业理解。
开源8300小时标注数据，新一代实时通用游戏AI Pixel2Play发布
随着AI在代码和图片生成领域成熟，研究人员开始关注其在游戏领域的表现。此前的专用模型缺乏跨游戏泛化能力，通用模型在游戏环境中表现不佳。为此，Player2研究员提出Pixel2Play模型，还开源了代码和数据集。
黄仁勋CES最新演讲：Rubin 今年上市，计算能力是 Blackwell 5 倍、Cursor 彻底改变英伟达软件开发方式、开源模型落后于先进模型约6个月
英伟达CEO黄仁勋在CES 2026演讲宣告AI从理解语言走向改造物理世界。他提及开源模型发展，还发布多款新品，如AlpaSim仿真框架、GROOT 1.6机器人模型、AI超算Vera Rubin等，凸显英伟达在AI领域的布局与野心。
估值 7 亿美元的 AI 语音输入产品：语音输入的关键问题是听写，不是转录
AI语音输入产品Wispr Flow发展迅猛，ARR 5个月翻10倍，公司估值超7亿美元。其创始人Tanay Kothari认为，该产品与其他同类最大区别是理解用户意图，解决听写而非转录问题，还分享了产品特点等内容。
Neuralink芯片入脑让瘫痪男子重新开口，家属泪崩！
伦敦一名患运动神经元疾病、几乎全身瘫痪的男子Paul，植入Neuralink脑机接口装置后，能用「意念」操控电脑打字。Neuralink核心装置N1芯片可捕捉脑信号，让机器理解大脑想法，但临床研究尚处早期，也面临数据归属等问题。
用2D数据解锁3D世界：首个面向运动学部件分解的多视角视频扩散框架
张昊等提出 Stable Part Diffusion 4D (SP4D) 框架，由 Stability AI 与 UIUC 联合完成。它能从单目视频生成多视角 RGB 与运动学部件序列，解决运动学部件分解及自动 rigging 问题，实验效果显著，被 Neurips 2025 接受为 Spotlight。
AI 画图不是玩具，而是可以变成效率工具 ｜ 豆包 P 图Seedream 4.0 效率场景挖掘
作者测试豆包P图Seedream 4.0，发现它有对指令深度意图理解等能力且中文支持好。还分享用其提升效率的场景，如制作封面图、翻译图片文字等，也给出发掘AI应用场景思路和写画图提示词方法。
NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。