「多模态指令」共找到 1159 篇相关文章
我们对 Coding Agent 的评测，可能搞错了方向
用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
突破全模态AI理解边界：引入上下文强化学习，赋能全模态模型“意图”推理新高度
在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。
最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频
今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。
米哈游蔡浩宇AI公司首个视频模型曝光了
米哈游蔡浩宇的AI公司Anuttacon首个视频模型LPM 1.0曝光。它可通过多模态形式生成动态角色，有超绝情绪演绎、实时视频生成等能力，背后技术架构复杂，目前未正式上线。
中国AI Agent产业化参考范本：斑马口语攻克的四大技术难关
2025年AI产业转折，通用大模型落地难，垂直场景成关键。斑马口语作为垂直落地的AI Agent，突破实时交互、语音识别、内容适龄、多模态呈现四大技术难关，为中国AI Agent产业化提供范本。
ChatGTP 发布 Agent 了，但我更推荐 MiniMax
作者受邀内测 MiniMax Agent 新功能，体验用其搭建 AI 资讯聚合网站，无需写代码，两小时搞定。该产品全栈开发功能强大，有 MCP 生态，多模态能力出色，对比 ChatGPT Agent 更具优势。
狂涨 9.5K star！！又一款轻量好用的web自动化项目，太爽了！！
介绍开源项目Nanobrowser，它是基于Chrome扩展的AI网页自动化工具，通过多智能体协作系统理解自然语言指令完成复杂网页任务，开源免费、保障隐私，有诸多实用功能，已获9.5K star。
CoT推理大溃败？哈佛华人揭秘：LLM一思考，立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」，使大模型推理时易出错。研究指出在需遵守指令任务中，用CoT推理模型准确率下降，还总结了四大模式，并提出四种缓解策略。
Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。