搜索：多模态数据集

「多模态数据集」共找到 3293 篇相关文章

OpenAI未公开的o3「用图思考」技术，被小红书、西安交大尝试实现了

OpenAI推出的o3推理模型打破传统文字思维链边界，实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes，尝试实现类似能力，还开源技术细节，在多任务中表现出色。

Yann LeCun、李飞飞和谢赛宁联手发布论文「Cambrian - S：迈向视频中的空间超感知」。他们认为LLM虽能力强，但无法像人类一样感知世界，为此构建Cambrian - S系列模型，开源相关数据和模型，还开发了新原型。

AI 初创公司 SentiPulse 联合团队提出 3D 数字人动作生成新范式 SentiAvatar，打造虚拟角色 SUSU，其框架等已全球同步开源。它解决了高质量数据荒等问题，实验表现优，还实现快速动作生成，支持流式交互。

在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。

最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。

GPT - 4o、Gemini等顶级语音模型闭源，紫东太初团队联合长城汽车AI Lab开源端到端共情语音语言大模型OpenS2S，提供构建共情语音系统新范式，开源所有核心资源，还介绍了技术方案、数据构建及训练流程等。

香港多高校与字节跳动联合研发的DreamOmni2系统，实现图像编辑与生成领域SOTA。它用三步造出高质量数据，提出索引编码等方案，联合训练模型，实际效果超越部分商业模型，为AI创作带来新可能。

上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。

在新智元十周年峰会上，昆仑万维董事长方汉分享公司转型故事与多模态AGI见解。他认为通用Agent非万能，垂类推理数据是关键，还提出AI商业落地逻辑，展示多款产品成果。

当Grok - 4讲冷笑话时，中国科学家用书生Intern - S1破解癌症药物靶点密码。7月26日上海AI实验室发布并开源Intern - S1，多模态能力全球开源第一，相关平台也上线，有望重构科研生产力。