「多模态框架」共找到 2414 篇相关文章
理解与生成统一多模态模型：现状与未来 | 直播预约
从GPT - 4o到Gemini，AI实现跨模态联合理解与生成，核心是统一多模态基础模型。但开源社区构建强大统一模型面临挑战。南大等团队梳理超750篇论文分析技术路线，将有直播探讨现状与未来。
告别玄学选LLM！弗吉尼亚理工选型框架入选ICML 2025
弗吉尼亚理工大学研究人员推出选型框架LensLLM，可预测微调后性能走势，解释大模型微调“玄学现象”。它基于全新PAC - Bayes泛化界限推导，降低成本近90%，被ICML 2025收录。
SceneWeaver：面向通用三维环境生成的反思型智能体框架
室内场景合成在具身智能兴起下愈发重要，现有方法存在局限。BIGAI提出SceneWeaver框架，通过基于工具的迭代优化统一多样场景合成范式，具有高保真模拟、强健物理交互等优势。
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
开源多智能体开发框架：支持MCP、Agent SDK，超2000颗星。
著名企业孵化器Y Combinator支持的开源多智能体开发框架Rowboat，支持MCP服务和Agent SDK，几分钟就能开发复杂智能体工作流。它由Agent、Playground、Copilot组成，还支持创建面向用户的助手，在Github超2000颗星。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
字节开源"超级AI员工"框架，发布即登GitHub Trending第一！
字节跳动火山引擎开源 DeerFlow 框架，2.0 版本发布即登 GitHub Trending 第一。它是超级智能体 harness，能让 AI 真正执行任务。有 Sub - Agents、Skills 等核心能力，对模型无强绑定，还介绍了使用方法。
Agent能自己“复盘”和“进化”，这个开源框架牛了！
文章介绍了自进化AI，其核心是执行、评估、进化的反馈循环，能自动修改Prompt和工作流。还讲解了SEW、TextGrad等优化器原理，并以SEW为例展示逻辑，最后推荐开源框架EvoAgentX。
评测也很酷，Data Agent 自动化评测的三层框架与实战
在大模型技术飞速发展下，评估应用效果成难题。字节跳动尹小明分享自动化评测技术，提出三层评测框架，还介绍 Text - to - SQL 及深度研究评测改进，以及评估平台建设，最后展望自动化评测未来方向。