「多模态LLM」共找到 1858 篇相关文章
360开源高质量图文对齐数据集！收纳1200万张图像+1000万组细粒度负样本，让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集，包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本，能提升模型图文对齐能力，还介绍了构建方法、分析及应用前景。
字节开源多模态复杂文档解析模型！Dolphin：页面与元素并行解析，精准解析复杂文档！
多模态AI与文档解析兴起，传统OCR解析复杂文档常出错。字节跳动开源多模态模型Dolphin，通过两阶段机制精准解析，有多种功能，安装使用友好，适用于多场景，降低了复杂文档解析门槛。
全日程公布｜谷歌Veo 3惊艳发布后，这场CVPR分享会值得每个AI人「听个声」
谷歌在 I/O 2025 大会发布 AI 视频生成模型 Veo 3，实现音画同步。为让从业者了解 AI 新成果与趋势，机器之心 6 月 8 日将举办「CVPR 2025 论文分享会」，公布全日程、嘉宾及主题，还会直播。
Palo Alto5亿美元收购的Portect AI都有什么产品和技术？
2025年4月25日，Palo Alto Networks超5亿美元收购Protect AI，为客户提供端到端人工智能安全保障。Protect AI有两个开源软件ModalScan、LLM Guard和三个平台产品Gardian、Recon、Layer，防护方案完整。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
ICML 2025 Spotlight｜南洋理工陶大程教授团队等提出基于RAG的高分辨率图像感知框架，准确率提高20%
南洋理工陶大程教授团队等合作，为解决多模态大语言模型处理高分辨率图像问题，探索 RAG 应用可行性，提出 Retrieval-Augmented Perception (RAP) 框架，在多任务上提升性能，已被 ICML 2025 接收。
Learning from peers！让LRM互相「传纸条」的新协作方式大幅提高准确率和效率
当前主流大模型如QwQ - 32B存在“前缀主导陷阱”，推理开头出错会使准确率暴跌。研究者受“同伴互助”启发提出LeaP框架，设计三种路由策略，实验显示小模型能借此超越大模型，开创了多种可能性。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
谷歌放的这波免费AI额度，大到很多人以为是假的
谷歌在Google AI Studio上调整Gemini API免费层规则，额度达每分钟100万token，无额外申请门槛。覆盖Gemini 2.5全系列模型，支持多模态输入。开发者反应两极，有人看好，也有人质疑。
千问Qwen旗舰预览版Qwen3.6-Max-Preview发布
千问Qwen发布下一代旗舰模型早期预览版Qwen3.6 - Max - Preview，在权威评测中登顶最佳国产模型。此前开源的Qwen3.6 - 35B - A3B用30亿激活参数匹敌数百亿参数稠密模型，新模型在多方面给出技术演进方向。