搜索：多模态代码生成

「多模态代码生成」共找到 4153 篇相关文章

超越谷歌Banana，字节联合香港中文大学等高校开源最强图像编辑生成系统DreamOmni2

香港多高校与字节跳动联合研发的DreamOmni2系统，实现图像编辑与生成领域SOTA。它用三步造出高质量数据，提出索引编码等方案，联合训练模型，实际效果超越部分商业模型，为AI创作带来新可能。

文章系统介绍Deep Search和Deep Research概念、与传统RAG区别、主流商业产品与开源方案、在代码领域应用及未来规划。提出Deep Search方案，构建独特代码理解与检索架构，还计划研发专用代码搜索Agent。

本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。

深圳大学黄惠团队推出 CLR - Wire 方法，将复杂三维曲线框结构编码到连续潜空间，解决传统难题，能实现高效生成与平滑插值，相关代码已开源，在多领域有应用前景。

现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。

在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。

UCSD和NYU团队推出开源的MIRIX，全球首个多模态、多智能体AI记忆系统。它表现亮眼，在多任务中超越传统方法，有类人记忆系统等特点，还上线Mac端应用，开启大模型从对话生成到长期记忆驱动心智的新周期。

香港大学黄超团队开源的DeepCode，能分析论文、生成可运行代码。在四大基准测试中全面领先，首超人类专家，还优于现有AI Coding。它有三大核心能力，采用三阶段框架实现代码自动转换。

当地时间3月24日，OpenAI宣布关闭视频生成应用Sora，这是其冲刺IPO前的战略调整。Sora曾是AI视频生成领域明星产品，性能卓越，但因内容生态缺失、商业变现难而关停。中国AI视频生成赛道崛起，应用场景丰富，形成生态壁垒。

作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。