「多模态指令数据合成」共找到 3391 篇相关文章
RAE的终极形态？北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。
CAIR开源发布超声基座大模型EchoCare“聆音”，10余项医学任务性能登顶
2025年9月17日，CAIR开源发布超声基座大模型EchoCare“聆音”。它基于超450万张影像数据集训练，在10余项医学任务测试中表现卓越。首创结构化对比自监督学习框架，为AI医疗应用提供创新路径。
AI竟会「自己认错」？破解多智能体协作「罗生门」，斩获ICML 2025 Spotlight
多智能体AI系统任务失败后，开发者常难定位问题。PSU、杜克大学与谷歌DeepMind等机构提出「自动化失败归因」，发布Who&When数据集，探索三种归因方法，虽目前效果欠佳，但为打造可靠系统提供方向。
极客大神构建了LLM架构画廊，AI大神Karpathy点赞
极客大神Sebastian Raschka构建LLM Architecture Gallery，将复杂模型结构化繁为简，引发技术圈讨论，AI大神Karpathy点赞。画廊高度视觉化、互动性强，展示模型架构图及核心参数，源数据开源。
从算法天才到机器人造梦者，原力灵机范浩强详解具身智能进化论：模型解锁场景，场景定义硬件
AI 前线深度访谈原力灵机范浩强，探讨其创业选择、具身智能技术演进与产业趋势。他认为机器人是 AI 绕不过的点，2025 年硬件与算法拼图开始对齐，原力灵机强调算法先行，还分享了保证算法演进的路线。
太强了 Yan！腾讯打造的全能交互视频生成引擎
腾讯提出的面向交互式视频生成的基础性框架 Yan，集 AAA 级模拟、多模态生成和多粒度编辑于一体，为下一代 AI 内容引擎提供可行路径，但也面临长时视频视觉一致性不足等问题。
百度搜索变天了：怎么搜索你们定
百度 App 搜索框大改版，升级为智能框，支持多模态输入，降低使用门槛。还推出多项功能，如百看、智能创作、深度搜索等，接入 MCP 服务，推动产品能力多方面转变，探索新盈利模式。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
小钢炮开源，一张3090两小时「从零训练0.1B全模态模型」，模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型，采用双轨架构。仅需一张RTX 3090，2小时就能从零训练全链路。有两套训练数据，具备零样本声音克隆等特点，实现大模型训练平民化。
「被动感知」到「理解接触」！它石智航重磅发布OmniVTA视触觉世界模型
它石智航联合六大顶尖机构推出OmniVTA视触觉操作框架和OmniViTac大规模视触觉数据集。该框架核心是从被动感知到主动预测触觉，通过多模块协同让机器人有预测、理解和修正能力，实验表现优。