搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

o1 核心作者 Jason Wei：理解 2025 年 AI 进展的三种关键思路

前OpenAI核心研究员Jason Wei跳槽Meta后，在斯坦福大学AI Club演讲，提出理解2025年AI发展的三个核心思想：验证者定律、智能的锯齿状边缘和智能商品化。他认为AI将解决可验证任务，智能成本会趋近零，且各任务发展不均衡。

Google Stitch推出DESIGN.md，这是一个纯文本设计系统文档，放项目根目录，AI助手能直接读取生成一致UI。它含基础设计规范，有9个核心部分。还有现成设计系统库，HyperDesign可自动生成该文件。

文章介绍用 YOLO26 极速目标检测和 SAM3 精准掩码生成搭建流水线。阐述二者原理，给出环境配置、实战代码，分析结果，还介绍进阶优化技巧和常见问题解决方案，适合实时应用场景。

Current Robotics 发布跨本体、多模态物理世界模型 CurrentWorld-0，它从真实数据学规律，整合跨本体、多视角和力触预测，可评测机器人，解决动作可控性等问题，让评测成训练数据入口。

快手最新论文提出的 Recommendation-as-Generation（RaG），把推荐系统从「在已有视频里找答案」推进到「根据用户兴趣生成答案」，已在快手大规模广告系统中部署，带来广告收入提升。

微软亚洲研究院提出全新语音生成模型 VibeVoice，采用 next - token diffusion 机制，能将文字脚本转为最长 90 分钟、最多 4 人对话的高质量播客音频，在多方面有显著优势，未来潜力大。

MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。

当前音频驱动头像视频生成扩散模型合成长视频时难兼顾音频同步与身份一致，瓶颈在音频建模。复旦大学提出StableAvatar，首个端到端视频扩散Transformer，能无限时长生成，还介绍原理与演示效果。

文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。

复旦大学等机构将强化学习引入视频生成领域。提出的Cockatiel方法在VDC榜单夺冠，IPO方法在VBench登顶，超越Sora、Pika等模型，优化后视频生成效果在多方面显著提升。