搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

Google 团队一年都没做出来的项目 Claude Code 一小时就把代码写出来了

Google首席工程师称团队一年没搞定的分布式Agent编排系统，Claude Code一小时生成代码。但后续有澄清，AI是基于人一年探索成果生成‘玩具版本’。还分析了工作价值、瓶颈转移等，指出AI时代个体和小团队机会。

作者分享可灵 2.1 首尾帧模型测试与使用教程，解决图片和提示词生成难题。介绍三种拿图法，给出 AI 生成提示词方法及原则，还指出可将流程固化、特效升维，提升视频创作效率与价值。

上海AI Lab的SIM1研究实现布料物理性质真实再现，解决仿真数据与真实场景对齐问题。它提出real - to - sim - to - real新范式，通过闭环流程生成数据，能扩展轨迹、提升泛化能力，有望重新定义机器人数据天花板。

自由量级发布新模型音潮V3.0，从写词到编曲能一键生成音乐。它有多种创作模式，降低音乐创作门槛，普通人也能轻松生成歌曲。其在演唱、旋律、编曲等方面显著提升，还开源部分成果。

阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。

阿里云推出Qwen-Image-2.0图像生成基础模型，具专业文字渲染、细腻真实质感等特色。在AI Arena盲测中表现优越，能精准生成复杂内容，文字渲染有准、多、美、真、齐特点，图像编辑能力也得到增强。

昆仑天工发布音乐模型Mureka V8，实测打败硅谷Suno V5成世界第一。它能生成完整可发布歌曲，结合MusiCoT技术实现从“能生成”到“能发布”跨越。高晓松等认可其变革潜力，昆仑天工联合太合音乐打通产业链。

当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。

Google Slides是Google版AI PPT，与传统AI PPT不同。它像传统PPT搭配AI聊天机器人，用Nano Banana模型可直接生成图片和文字，能像素级推理，打破传统PPT结构，还可自然语言交互修改，只是中文生成效果待提升。

谷歌DeepMind发布WeatherNext 2，运行速度比上一代快8倍，分辨率达小时级。其关键是新提出的FGN功能生成网络，通过输入32个随机数字生成多样天气情景，速度快且准确率高，虽有小瑕疵但实用。