「FP4训练」共找到 3412 篇相关文章
SOP:具身智能在线进化新范式,为大规模真实世界部署而生
智元机器人具身研究中心提出SOP在线后训练系统,将VLA后训练重构为“在线、集群、并行”,可即插即用后训练算法。它有高效探索、缓解偏移等优势,实验显示能提升性能、效率,突破VLA瓶颈。
超越RAG和DAPT!华人团队新研究引热议:即插即用、无需改变原参即可让模型化身领域专家
华人团队提出比DAPT和RAG更方便、成本更低的方法,即“Memory Decoder”预训练记忆模块。它像“领域知识插件”,即插即用、不改原参,能让Qwen、Llama等模型成领域专家,还降低困惑度。
AI秒懂短视频,快手大模型Keye-VL理解力爆表!技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源,能深度融合多模态信息,在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
打造图像编辑领域的ImageNet?苹果用Nano Banana开源了一个超大数据集
苹果研究团队提出Pico - Banana - 400K数据集,基于Nano - Banana在OpenImages实拍照片生成编辑对。其系统化设计保证质量与多样性,还构建自我编辑评估流程,为图像编辑模型训练评测奠定基础。
刚刚!微软 | 发布全新一代自研AI芯片Maia 200
微软提前发布自研AI芯片Maia 200,基于台积电3纳米工艺,性能超竞品,是其异构AI基础设施重要部分,将支持多个大模型,已部署在美中数据中心,还开放Maia SDK预览。
端到端GUI智能体首次实现“犯错-反思-修正”闭环,模拟人类认知全过程
南洋理工大学MMLab团队提出框架GUI - Reflection,让端到端多模态GUI智能体有“自我反思”能力。它在各训练阶段引入“反思与纠错”机制,实验证明该框架能提升智能体能力。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现,从Naive Softmax到Triton实现,分析访存量、row索引计算、num_stages作用等,还修复官方年久失修代码,性能测试带宽吞吐提升约4倍。
世界模型开始做减法?LeCun团队和清华团队给出两种思路
近期,Yann LeCun团队的LeWorldModel用简洁JEPA实现从像素端到端训练世界模型,降复杂度且验证潜在空间物理刻画能力;清华团队的Fast - WAM探讨推理阶段显式生成未来必要性,给出高效替代路径。
告别数据「噪音」,UCSD大模型推理新方法DreamPRM充当「信号放大器」,登顶MathVista测评榜
DreamPRM由加州大学圣地亚哥分校团队开发,在MathVista测评榜夺冠。它通过双层优化框架解决多模态过程奖励模型训练难题,能与多模态大模型集成,提升推理能力,实验效果显著。
LeCun发布最新世界模型:首次实现16秒连贯场景预测,具身智能掌握第一视角!还打脸用了VAE
LeCun团队推出PEVA模型,让具身智能体学会人类“预判能力”,首次实现16秒连贯场景预测。它结合结构化动作表示与条件扩散Transformer,用真实数据训练,解决长时序问题,还能筛选最优动作。