「多模态内容」共找到 1707 篇相关文章
对话 Roto:让视频实时可交互、足够个性化,我们要做 AI 时代的 Netflix
Roto定位是全球首个互动开放世界视频平台。创始人David Xu曾就职独角兽企业,涉足多模态生成。团队经多次方向调整,决定大胆探索极致创新。目前产品技术不成熟,但已探索新内容形式,还将在广告实现商业闭环。
还是你们会玩,2.9k Star OpenBiliClaw
OpenBiliClaw把浏览器扩展等拼成内容发现Agent,将内容推荐主导权交回用户。它汇总显式授权来源信号找内容,形成本地画像。介绍其架构层级、核心闭环,也提醒“本地优先”仍需做隐私检查。
华为Doc-Researcher 布局感知+视觉语义双杀
现有深度研究系统依赖文本网页数据,忽视多模态文档知识。华为Doc - Researcher系统解决多模态文档解析不足、检索策略有限、缺乏深度研究能力等问题,含多模块,能处理复杂多模态任务。
确认!DeepSeek多模态AI已经开测
DeepSeek研究员陈小康、陈德里确认其V4视觉模式开始灰度测试。更新后出现识图模式,具备真实图像理解能力。陈小康是多模态研究组负责人,陈德里负责语言模型等核心方向,V4可谓满血归来。
MoCa:首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点,中国人民大学等机构研究者提出MoCa框架,可将单向注意力VLM训练成双向多模态编码器。它分两阶段,实验效果好,未来可拓展模态、提升多语言适应等。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要,传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练,革新检索生成范式,提升视觉语言模型多方面能力,代码已开源。
清华-腾讯联手:音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型,目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点,通过构建数据集、设计结构和统一架构实现多任务合作。
视频播客不是内容升级,更像是一场分发补偿
文章从创作者视角出发,阐述部分主播需考虑做视频播客的原因。指出媒介融合下“节目”成最大公约数,美国主播因生存需做YouTube,中国播客靠切片传播,专业创作者做视频成本低且杠杆效应大。
开源SOTA!商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1,用NEO - unify架构让像素和文字自由协作,多项指标达开源SOTA,适配10家国产芯片。它能完成看图、推理、作画等多任务,虽有局限,但后续优化值得期待。
大涨240%,Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中,大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案,构建M4DocBench评测,性能远超现有方案,还适用于多产业场景。