「多模态LLM」共找到 1855 篇相关文章
LLM遇上表格:4类表示、5大任务、3大机会
文章指出LLM处理表格有任务单一、输入复杂易崩、表示不统一痛点,介绍4种表格输入表示法、5大任务,还发现任务复杂度、输入复杂度及表示统一方面存在新研究机会。
综述 | Agentic RL for LLM的最新进展与未来挑战,idea满满
该综述对新兴的Agentic RL进行系统性总结与展望,介绍其与传统LLM - RL区别,从核心能力和任务视角阐述其应用,梳理支撑系统,指出核心挑战与未来方向,展示通向通用AI的希望之路。
Monet:赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型,它实现了训练MLLM直接在连续隐空间思考的方法,内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点,提出SFT+RL训练框架,构建数据集,经测试,Monet提升了视觉推理能力。
LLM提示三剑客:解密CoT、ReAct、DSP如何提升AI准确率?
LLM提示分思维链(CoT)、ReAct和声明式自我提示(DSP)三类。CoT鼓励模型推理,适合多步骤复杂问题;ReAct结合推理与动作,是代理基础;DSP让模型声明计划,用于模块化任务。还给出使用场景与对比。
给定"标价"的 LLM 智能体,能规划出"最优"路径吗?
在LLM智能体多轮工具使用中,评估成本是难题。来自多所高校的团队推出CostBench基准,围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板,并分析失效根源,还指出下一代智能体演进方向。
Chatbot 落幕,企业 LLM 才是 AGI 关键战场|AGIX PM Notes
文章围绕 AGI 展开深度思考,指出企业市场是 AI 革命原爆点,让企业数据适配 LLM 是前提。还提及本周市场情况,如对冲基金资金流向,以及多家公司财报超预期、微软和 Meta 加入 GSE 等动态。
架构解耦是统一多模态模型所必须的吗?全新AIA损失:No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须,推出 AIA 损失。研究发现架构解耦未解决任务冲突,AIA 能提升模型性能,减少数据配比问题。
终于开源升级OmniGen2,统一多模态图像生成模型,真的惊艳。
OmniGen2是强大的开源统一多模态图像生成模型,针对文本和图像模态构建独立解码路径,运用未共享参数。新架构提升处理效率和质量,在图像编辑等任务表现出色,还有多技术特点。
LLM省钱大测评!48块GH200,首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率,提出三轴分类法和六大指标,实验覆盖多方面。研究表明效率优化需权衡,最优策略因任务和模型规模而异,且相关技术可迁移到跨模态模型,成果将开源。
用 LLM Wiki 给自己搭一个会越用越值钱的第二大脑
这是基于Andrej Karpathy的LLM Wiki模式构建的开源项目,能方便实现第二大脑。上传资源后Claude会主动提取实体、建立概念网络,知识会‘自己生长’,用得越久边际价值越高。还介绍了安装及使用方法。