「多模态语言模型」共找到 8304 篇相关文章
“养团队造语言”时代终结？Rust传奇人物用Claude造出新开源编程语言，AI写下万行代码：大模型上限很高，我学会了高效用它！
Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者，现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全，使用体验更顺手，开发深度依赖Claude。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
NVIDIA 开源 Live VLM WebUI：摄像头实时测试视觉语言模型
NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
英伟达说，小语言模型（SLM)是智能体的未来
英伟达论文指出小语言模型（SLM）是代理人工智能未来。SLM参数小于100亿，可装在消费电子设备。英伟达认为其强大、适合代理系统且经济。微软、英伟达等多家厂商的小模型表现出色，文中还分析了SLM优势及代理架构。
OpenClaw的风刮到了多模态生成，6B小模型超越Nano Banana 2！
现在多模态生成模型在复杂指令和下游任务表现不佳。上海人工智能实验室等团队提出GEMS，将OpenClaw成功应用于多模态生成领域，激发小模型潜力，让6B小模型部分任务超越Nano Banana 2。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。