「模态组合」共找到 331 篇相关文章
阿里:RL强化LLM推理,是技巧还是陷阱?
近年来,强化学习(RL)成为解锁大型语言模型(LLM)复杂推理能力的关键工具,但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验,揭示主流RL技巧的机制与适用场景,还发现极简组合(Lite PPO)性能超越复杂方案。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化,涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面,介绍其演进路径与代表模型,还提及国内模型创新及开源模型OpenVLA。
英伟达揭示RL Scaling魔力!训练步数翻倍=推理能力质变,小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久,过去研究多悲观。英伟达研究指出,问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数,释放小模型潜力,还构建技术组合拳。
如何训练VLA?丰田研究院发布史上最大实验规模「保姆级」教程
丰田研究院和清华大学发布教程,用大量数据训练89个策略模型并验证。聚焦Co - training,研究五大模态、三种策略,对比不同架构,揭示有效和无效模态,还探讨CoT推理及多方面实验。
谷歌:Embedding检索存在根本理论局限,Sparse、Graph才是未来?
近年来稠密向量检索广泛应用,社区认为embedding能‘包打一切’,但谷歌DeepMind从理论与实验指出其存在根本局限。相关实验代码和数据已开源,还给出替代方案。
美团新独立APP,点不了菜只能点AI
美团新开源LongCat-Flash-Omni模型,支持多模态,在全模态基准测试达开源SOTA水准,推理快且全模态能力强。实测交互体验丝滑,其迭代逻辑清晰。该模型成功源于架构创新,美团靠软硬件结合实现虚实连接。
第 2 章 主流 Agent 模式深度解析
文章深度解析主流 Agent 模式,用生活化类比介绍了 ReAct、Plan - and - Execute、Tool Use、Reflection / Self - Critique 四种模式,阐述其技术要点、优缺点及适用场景,还对多模式进行对比。
一边秀肌肉,一边设围墙,NVIDIA 发布 OmniVinci,性能碾压 Qwen2.5-Omni,却被骂“假开源”
NVIDIA 推出多模态大模型 OmniVinci,结合架构创新与合成数据流水线,训练 token 仅为 Qwen2.5 - Omni 的六分之一,却在多项基准测试表现更佳。但采用限制商业用途的许可证,引发“假开源”争议。
DeepMind让AI当「上帝」,导演一场只有AI演员的「西部世界」
Google DeepMind和多伦多大学研究人员受TTRPG和现代游戏引擎启发,提出Concordia软件库。它基于「实体 - 组件」架构,将工程师与设计师角色分开,能灵活构建多角色生成式AI系统,满足不同需求。
跳过88%专家,保住97%性能!MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模,MoE架构虽降低计算开销,但推理成本仍高。香港科技大学等团队提出MoDES,它是training - free动态专家跳过框架,能跳过88%专家还保留97%性能,推理速度提升2倍。