「JEPA架构」共找到 1850 篇相关文章
LeCun的世界模型单GPU就能跑了
LeCun世界模型有新进展,开源极简训练方案LeWorldModel,单GPU就能跑,基于JEPA架构,速度快、参数小、控制强且懂物理,完胜此前JEPA方法,训练更简单。
图灵奖得主杨立昆现场追问:AI 还没越过这 3 道认知墙,谈什么通用智能?
图灵奖得主杨立昆指出AI未越过三道认知墙,即看不懂物理世界、无长时记忆、无推理结构,提出JEPA架构及AMI概念,还建议别卷模型,应卷架构,如探索具身智能等领域。
腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合
腾讯公开混元TurboS技术报告,该模型是超大型Hybrid Transformer - Mamba架构MoE模型,融合Mamba与Transformer架构优势,有自适应长短思维链机制,激活参数56B。在多评测中表现佳,推理成本低。
为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长,MoE架构虽能避免计算量同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。
还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。
架构彻底重构!DeepSeek新模型代码曝光,要来的V4让国内外都坐不住了?
DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索,或为V4内部代号。代码显示其有重大架构变更,能并行处理稀疏与稠密计算,适配英伟达新架构。此前R1发布推动中国AI开源生态发展,新模型备受期待。
LeCun亲自官宣!Meta世界模型V-JEPA 2登场!仅用62小时机器人数据,就能实现零样本控制!
Meta发布V-JEPA 2世界模型及三个新基准测试,Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练,用62小时机器人数据就能实现零样本控制,还将探索分层式模型和多模态建模。
Patreon 年度回顾中的架构经验
2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目,提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题,还分享多项目实操经验。
InfoQ 2025 年趋势报告:软件架构和设计
InfoQ 2025 年软件架构和设计趋势报告,借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势,如 LLM 普及但应用场景存疑,还有 Agentic AI、SLM 等创新领域,以及 RAG、AI 辅助开发等不同阶段趋势。