「多模态框架」共找到 2428 篇相关文章
分割一切、3D重建一切还不够，Meta开源SAM Audio分割一切声音
Meta 深夜放出音频分割模型 SAM Audio，可通过多模态提示分离任意声音。其核心 PE - AV 推动性能领先，还发布评测模型、基准等，整合进新平台，虽有局限但为音频 AI 带来新可能。
AI终于学会「读懂人心」，带飞DeepSeek R1，OpenAI o3等模型
威斯康星大学麦迪逊分校联合清华的研究《MetaMind: Modeling Human Social Thoughts with Metacognitive Multi-Agent Systems》，将元认知理论融入LLM架构，使模型在心智理论测试达人类平均水平，揭示构建社交智能AI方法论。
AAAI 2025 Oral | 火山引擎多媒体实验室提出VQ-Insight，AIGC视频画质理解大模型
火山引擎多媒体实验室与北大合作论文《VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning》入选AAAI 2026口头汇报。VQ - Insight用渐进式框架处理AIGC视频画质理解，实验表现卓越。
Agent规模化落地前夜，AI Infra的难题全都暴露了
随着AI Agent大规模落地，中国云服务市场结构转变，AI基础设施角色改变。InfoQ联合腾讯云发起「InfraTalk」直播，探讨AI Infra能力框架等。还解析其核心能力、难题、价值闭环标准及未来竞争焦点。
我用这个开源的「智能体记忆操作系统」，30分钟做了一个AI备忘录应用。
文章推荐开源记忆项目MemOS，它是为智能体打造的记忆操作系统，能让AI有长期记忆体系。作者用其30分钟做出AI备忘录应用，还介绍了MemOS框架，称它是AI转变的关键基建。
从VLA到RoboOmni，全模态具身新范式让机器人察言观色、听懂话外音
复旦大学等联合推出全模态端到端操作大模型RoboOmni，统一多模态，实现动作与语音协同控制。它重新定义机器人交互范式，让机器人具备“察言观色”能力，还构建了OmniAction数据集，实验表现全面领先。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
Spring AI Alibaba实践｜后台定时Agent
文章参考Langchain，探讨Agent新运行形态，Spring AI Alibaba（SAA）为开发提供框架。介绍自主运行Agent优势、适用场景，说明构建方法，还给出店铺经营分析和评价舆情分析两个实践案例代码。
告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统
现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。
突发！Meta刚从OpenAI挖走了清华校友宋飏
刚刚，OpenAI前高层研究员宋飏加盟Meta Superintelligence Labs任研究负责人，向赵晟佳汇报。此次人事流动或透露出Meta在AI竞赛中释放的三重信号，如MSL人才拼图更完整等。