「大模型架构图」共找到 9827 篇相关文章
世界模型的DeepSeek时刻!魔芯Flash World Model降本70%,跑出50FPS实时交互
魔芯科技发布全球首个超高帧率交互式世界模型 MoWorld,无需高端 GPU,实现影视级画质、50 FPS 实时交互,降本 70%。其技术架构先进,产业化路径清晰,获过亿美元融资。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
GPT-6要「活」了?MIT新作曝光,AI「自进化」不远了
麻省理工学院推出全新自适应大模型框架「SEAL」,让模型从「被动学习者」变为「主动进化者」。网友猜测GPT - 6可能整合其能力,成为能自主学习的模型,研究虽有局限,但为大模型自进化提供新路径。
ACL2025 | 代码助手火了,但安全吗?所有模型评估结果都很扎心
近期,GitHub Copilot、ChatGPT等AI代码生成工具爆火,效率显著提升,但代码安全性存疑。北大团队用CoV-Eval评测20款主流大模型,结果不佳,论文还给出优化方向,呼吁代码上线前严格测试。
社区发布丨全面开源!商汤日日新SenseNova U1发布,迈向模型理解生成统一时代
商汤科技正式发布并开源商汤日日新SenseNova U1系列原生理解生成统一模型,基于NEO - unify架构,实现模态集成向原生统一跨越,其轻量版在多项测试达同量级开源SOTA,还能连续性图文创作。
每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程,通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环,从集群利用率、单节点算力、后训练技术三方面突破,实现大模型高效训练。
Suno、Udio都被它干翻!中国AI音乐模型拿下AA全球榜单双料冠军
昆仑万维旗下 AI 音乐大模型 Mureka V8,在 Artificial Analysis 榜单上登顶 vocals 和 instrumental 双榜第一,超越国际主流模型。实测亮点多,其技术进步显著,V9 也将解决表达偏差问题。
中科大 × 华为联合突破!SparseRM:1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案,基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数,在多任务中性能优,还能融入下游对齐流程,为LLM高效对齐提供新可能。
昇腾+鲲鹏联手上大招!华为爆改MoE训练,吞吐再飙升20%,内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案,三大核心算子全面提速,系统吞吐再提20%,Selective R/S实现内存节省70%,为大规模MoE模型训练扫清障碍。
中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。