「多模态LLM」共找到 1874 篇相关文章
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
LLM驱动的威胁情报提取框架，从非结构化到STIX的自动化:IntelEX
为应对网络攻击，需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具，通过LLM上下文学习等增强，能识别攻击序列并提取结构化情报为STIX格式，还可转化成Sigma，在测试中表现优异。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
首个多轮LLM Router问世, Router-R1可让大模型学会「思考–路由–聚合」
在大语言模型种类爆炸的时代，如何智能分配任务成新挑战。伊利诺伊大学香槟分校团队发布 Router - R1，让 LLM 学会‘思考–路由–聚合’，用强化学习平衡性能与成本，在七大基准测试表现出色。
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
比NotebookLM更好的「开源播客」，可根据多模态内容生成30分钟以上播客音频。
Podcastfy是开源Python工具，能把文本、图片等多模态内容，借生成式AI转化为播客。它支持自定义，适配多种语言和文本转语音模型，能生成2 - 5分钟或30分钟以上的播客，使用体验比NotebookLM好。
yann lecun（杨立昆）新公司AMI融资10亿美元，要做LLM的替代品
Yann LeCun离开Meta后与Alexandre LeBrun创立AMI Labs，获10.3亿美元融资。他们认为LLM有幻觉问题，AMI Labs用JEPA架构构建‘世界模型’，代码和论文将开源，不过短期内无产品和收入。