「多模态社区」共找到 1359 篇相关文章
大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。
悟空AI Agent再进化：连斩魔搭社区SWIFT框架RCE 0day漏洞
腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计，通过人机协同发现两个较难利用的RCE 0day漏洞，获官方致谢。该框架在易用性和高效性上表现出色，此次发现推动了其安全性提升。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
129K Star 的 Deepseek Harness，社区已经把桌面版、插件市场都做好了！
AI Agent 框架 Deepseek Harness 在 GitHub 上已达 129K Star。官方定位为编程 Agent 框架，社区则围绕其开发了三个项目，分别是 deepseek - harness - desktop、awesome - dsh - plugin 和 dsh - desktop，拓展了使用场景与功能。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。