「多模态输入」共找到 1114 篇相关文章
迈向AI4S 2.0，上海AI实验室开源书生万亿科学大模型Intern-S1-Pro
2月4日上海人工智能实验室开源万亿参数科学多模态大模型Intern - S1 - Pro，为AI4S迈向2.0提供开源基座。其核心科学能力跃升，底层架构创新，科学与通用能力协同发展，还构建了‘算力 - 算法’一体化基座，推动科研范式革命。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。
刚刚，「吉卜力狂欢」GPT-4o功臣被挖走！华南理工女学霸曾与奥特曼同台
GPT-4o引爆全球「吉卜力风格」风潮后，其核心成员华南理工学霸Lu Liu与伯克利博士Allan Jabri跳槽Meta。此前他们在OpenAI主导多模态AI研究，与奥特曼同台展示关键功能，此次挖角凸显OpenAI人才流失危机。
沉迷贪吃蛇，7B小模型竟变身「数学天才」！几何推理碾压GPT-4o
NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。
MiniMax开源首个视觉RL统一框架，闫俊杰领衔！推理感知两手抓，性能横扫MEGA-Bench
MiniMax开源首个视觉RL统一框架V-Triune，由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制，让VLM能联合学习推理和感知任务。还开发Orsta模型系列，在MEGA - Bench表现出色，且MiniMax多模态布局动作多。
谷歌发布最强 AI“全家桶”、一句话就让AI拍大片！这一夜，谷歌Gemini贯穿始终，网友：果然Android“靠边站”了
谷歌在I/O大会推出AI“全家桶”，含Gemini 2.5模型更新、搜索新AI模式等。谷歌已发布十多个新模型、20多个重大AI产品与功能，多项数据显示AI发展迅速，还有多项目融入产品，多模态模型升级。
AI遭遇灵魂拷问！这道题所有模型集体翻车，网友：我也不会啊
图像推理现新难题，在Reddit引发热议，目前无AI能真正解决。国内外支持图像输入的大模型答案不同，原因是对大立方体规格理解不同。结合提示多次尝试，部分大模型能找准方向，人类面对该问题也会困惑。
9.7K Star 把 AI 编码的 token 消耗砍了 16 倍
当前AI编码工具默认读取整个项目文件，token消耗高。code-review-graph项目用Tree-sitter解析代码库成图，追踪改动“爆炸半径”，平均省8.2倍token，技术轻量，还能做社区检测。它揭示AI编码瓶颈在信息输入质量。
Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间
Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。
深入感知级别图像理解：UniPercept 统一图像美学、质量与结构纹理感知
多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。