搜索：多模态程序合成

「多模态程序合成」共找到 1314 篇相关文章

一边秀肌肉，一边设围墙，NVIDIA 发布 OmniVinci，性能碾压 Qwen2.5-Omni，却被骂“假开源”

NVIDIA 推出多模态大模型 OmniVinci，结合架构创新与合成数据流水线，训练 token 仅为 Qwen2.5 - Omni 的六分之一，却在多项基准测试表现更佳。但采用限制商业用途的许可证，引发“假开源”争议。

文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。

GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图，不用换模型或等官方，装本地代理即可。它还附带视觉工具包，在智能文档解析和OCR上潜力大，证明多模态能力可长在管道上。

传统强化学习（RL）训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架，以经验合成为核心，通过三大组件协同工作，在多种任务和模型上提升性能，为通用Agent训练开辟新路径。

前小米OS高管董红光创立光帆科技，他认为AI将重塑消费电子行业，未来交互是“需求式”和“多模态”的，手机或不再是最适配设备，穿戴设备或先变革，未来多设备联动由AI大脑调度。

Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。

传统listwise在复杂查询表现差，近期工作泛化性不佳。人大与百度等提出ReasonRank，通过全自动合成13K推理数据及两阶段训练，在BRIGHT等榜单表现优异，且ReasonRank-7B比Rank1-7B快2.5倍。

Meta超级智能实验室首个作品Muse Spark上线，跑分从18飙到52，盘中暴涨10%。它是「全能六边形战士」，有原生多模态感知等能力，上线「沉思模式」，功能先在美国铺开，未来接入社交平台，免费用但闭源。

大模型升级频繁令人审美疲劳，但豆包大模型Seed 2.0不同，其核心是Skills调用能力。作者测试了它做的小红书长图文排版生成器和古文翻译器，还体验了APP“专家模式”，展现多模态理解优势。

大模型竞技场上，神秘模型Kiwi - do现身，自报来自月之暗面Kimi。网友推测它可能是K2 - VL，其通过VPCT测试或改变多模态Agent格局。2025年末Kimi获35亿融资，将用于K3模型研发。