搜索：多模态生成与理解统一

「多模态生成与理解统一」共找到 3438 篇相关文章

清华大学x生数科技：从波形到隐空间，AudioLBM引领音频超分新范式

音频超分辨率是提升音频体验的关键技术，但高频细节损失是挑战。OpenAI的Sora 2树立高保真音频生成标杆，现有学术模型有局限。清华与生数科技团队发表两项成果，AudioLBM展现通用高分辨率音频生成潜力。

本文围绕“什么是好代码”展开，作者结合自身职业发展，从初入职场的“黑盒认知”到深入思考多维度评价标准。还介绍代码评审标准，从稳定、体验、效率、成本衡量。最后给出写好代码的方法和面临的挑战。

Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架，分析主流大模型，发现AI与人类在‘理解’上有三大核心差异，对当前AI发展趋势提出挑战。

哈工大论文获AI顶会ACL 2025评审阶段已知最高分。团队用传感器捕捉手部书写实现汉字输入识别，独创中文字形编码让AI理解汉字形态，革新中文人机交互，推动汉字文化传承，为AI理解汉字开辟新路。

Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。

北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构，基于全离散、自回归机制建模多模态信号，后训练引入世界模型。它刷新多项基准纪录，在真机操控和自动驾驶有潜力，为多模态感知决策融合带来新思路。

扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。

当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。

近期，GZDoom 背后的开源社区因创始人兼维护者 Graf Zahl 在代码库中加入未经测试的 AI 生成代码而分裂，抗议者创建了分支 UZDoom。Graf 称只是用 AI 生成样板代码，不影响核心功能，但社区成员认为开源项目不该用 AI 工具。

香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。