搜索：视觉-语言生成

「视觉-语言生成」共找到 3485 篇相关文章

SkyReels-Audio让嘴型和音频完美匹配不再难

音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。

NeurIPS 2025 论文提出 VIST 框架，为大语言模型长文本推理提供视觉方案，与 DeepSeek - OCR 理念不谋而合。它模仿人类阅读，有快 - 慢路径协作，在多任务表现优，还让模型‘用眼看文字’，优势明显。

阶跃星辰段楠指出当前视频生成技术或触天花板，真正有深度理解能力的模型尚待突破。他预测未来1 - 2年视觉领域基础模型有望出现，还分享视频生成及多模态AI未来核心洞察。

斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。

华为诺亚方舟实验室等团队提出 ScaleNet 方法，创新性地用少量额外参数量将模型深度扩展一倍。结合层级权重共享和轻量级适配器技术，在视觉和语言任务上验证了有效性，提升了模型性能。

现在3D AIGC虽能快速生成场景，但落地有问题，很多场景物理模拟时会暴露物体悬空等问题。CMU等团队提出PAT3D，目标是让生成的3D场景物理上站得住，可用于编辑、交互和仿真，且代码已开源。

面壁上新最强端侧多模态模型MiniCPM-V 4.5，基于Qwen3 - 8B与SigLIP2 - 400M构建，总参数量8B。它视觉语言理解强、手机能跑，有高帧率视频理解等特点，还有多方面技术亮点。

BiCo是创新AI视觉内容生成方法，能灵活组合图像和视频视觉概念实现可控编辑。它解决现有方法在概念提取和组合上的问题，在多方面表现优异，可用于视频制作、艺术创作等领域。

开源项目Hyperframes刷屏，它是基于HTML的视频渲染框架，不用视频大模型，用普通语言模型就能生成可控视频。它与Remotion有区别，选了对AI友好的路，还介绍了安装、使用方法和适用场景。

现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。