搜索：多模态视觉语言模型

「多模态视觉语言模型」共找到 2256 篇相关文章

机器人学会「眼看手摸」！FreeTacMan 实现人类指尖亲自「授课」

OpenDriveLab提出的FreeTacMan，将人类视觉、触觉和动作技能高效传输给机器，破解精细操作难题。它配备高分辨率触觉“皮肤”，实现人类“手把手”教机器人“感知”，还通过融合时间感知的触觉预训练，提升机器人策略性能。

长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。

多模态是大模型热门应用概念，文本生成语音赛道受资本青睐。作者实测对比扣子空间和NotebookLM，发现扣子空间播客功能更优，能精准拿捏尺度，覆盖场景大，还能做旅行攻略、生成网站等。

新加坡国立大学邵林团队提出 Manual2Skill 框架，利用 VLMs 将说明书视觉指令转化为机器人装配技能，含层级化装配图生成、分步骤位姿估计、动作生成与执行三阶段，实验验证其在多场景的有效性。

文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。

文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。

OpenAI昨夜发布研究预览版Codex，一款集成在ChatGPT中的高级编码智能助理。它基于codex - 1模型，支持多种编程语言，有深度代码分析等核心功能，还有codex - mini - latest API版本，或重构软件开发行业。

5月7日，GOSIM AI Paris 2025在法国巴黎迎来第二日议程。全球专家围绕AI技术多方面探讨，涉及模型、基础设施等主题。还分享大模型趋势，宣布新型许可证，各分论坛展示多元成果，大会圆满收官，杭州场9月待启。

OpenAI的o3在GeoGuessr游戏中与大师级玩家Sam Patterson对决，o3通过视觉与搜索推理，忽略伪造EXIF信息，最终以23179比22054获胜，展现出跨模态推理潜力，引发对AI推理能力的思考。

7月7日，ICML 2026进入正会第一天。雷峰网精选首日上午9篇论文，涵盖持续学习、多模态融合等方向，如MePo让预训练模型学会持续学习，HAF解决模态不平衡下的融合问题，展现AI研究前沿趋势。