「FP4训练」共找到 3436 篇相关文章
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
模型一模一样，Token 却相差 70 倍？三项实测揭开 AI 编程工具的成本黑洞
本文通过三项独立基准测试，证实相同AI模型下，不同AI编程智能体框架的Token消耗最高相差70倍，分析了成本差异的核心原因，为企业AI成本控制提供可落地的衡量标准。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
一夜之间，AI终获「永久记忆」！最难考试99%刷爆SOTA，全网直呼疯狂
新智元报道，Supermemory团队推出超级记忆系统ASMR，在AI记忆界最难考试LongMemEval中刷到99%准确率。它抛弃传统模式，采用多Agent并行推理，4月初将开源代码。此外，其背后的Supermemory引擎功能强大，能让AI真正拥有记忆。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
腾讯回应 OpenClaw 之父 Peter 的“抄袭”指责；突发！字节AI视频模型Seedance 2.0发布紧急叫停；Mac mini因“养虾热”断货 | Q资讯
本周AI圈热点不断：腾讯回应OpenClaw之父“抄袭”指责；字节AI视频模型Seedance 2.0发布叫停；Meta或裁员20%；美团王兴谈海外战略与AI冲击；“养虾热”致Mac mini断货；DeepSeek V4和腾讯新混元模型4月将发布。
终于在国产AI上看到了Opus的影子｜GLM-5深度实测
作者起初怀疑GLM - 5称对标Claude Opus 4.6、定位“系统架构师”的说法，但实测后改观。通过宝可梦策略助手、降噪网站沉浸式交互、求职招聘双边匹配三个测试，展现其系统规划、执行、纠错等能力，像真正架构师。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
参数破万亿！阿里Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布总参数超万亿的Qwen3 - Max - Thinking，预训练数据规模达36T Tokens。在多项权威测试中表现优异，能与顶级闭源模型竞争。引入两项核心创新，千问App等已上新，网友认可其能力与更新速度。