搜索：多模态处理能力

「多模态处理能力」共找到 4420 篇相关文章

视频模型也能推理，Sora2推理能力超过GPT-5

DeepWisdom团队研究发现视频生成模型能推理，在空间类任务上比图文模型更擅长。团队推出VR - Bench基准测试，构建客观评分体系。实验显示视频模型在空间推理有优势，相关代码和数据集已开源。

前端开发中UI转代码耗时易错，现有工具存在不足。ScreenCoder提出模块化多智能体框架，通过三阶段分工协作实现代码生成，还构建数据引擎推动VLMs进化，实验表现出色，为多模态程序合成开辟道路。

谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。

AutoClip是基于AI的开源智能视频切片处理系统，能自动从多平台下载视频、提取精彩片段并生成合集。适合UP主、内容创作者等，有多平台支持、AI智能分析等特性，部署方式简单。

智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。

过去半年，推理能力成大模型新分水岭。InfoQ研究中心评测八款热门模型，围绕五大维度，用超90%原创试题。发现各模型在不同维度表现有差异，推理模型发展正从‘一个大脑’变为‘带工具的多能智能体’。

华中科技大学、北京邮电大学等多所高校研究团队共同推出纯多模态开源LLM——Perception-R1，该模型用强化学习优化视觉感知，目前论文和代码均已开源，其在视觉任务上表现出色，为后续研究提供强大baseline。

周五凌晨，OpenAI 发布 GPT-5.4，引入原生计算机使用模式。它能操作软件、浏览网页等，性能和灵活性强，token 效率高，但价格贵。科学家认为 AI 前景广，有人觉得 GPT-5.4 Pro 达 AGI 级别。

当下AI智能体处理办公文档有问题，需依赖复杂库或安装庞大软件。Github上的轻量级工具`OfficeCLI`，让AI智能体通过命令行控制办公文档，实现自动化办公，功能强大且使用方便。

上海人工智能实验室等团队提出全新生成式多模态推理范式，发布模型 DiffThinker。它打破传统定式，以图像到图像生成任务重构推理过程，在多项复杂任务中表现优于顶尖闭源模型，有四大核心特性。