「高稀疏度MoE结构」共找到 712 篇相关文章
单卡4090也能高质量视频编辑!西湖AGI Lab无训练框架FlowDirector来了
视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架,可将基于流的视频生成模型改造成编辑工具,质量高、功能广、开销低,解决了时序、结构和编辑幅度问题。
CUTLASS CuTe GEMM细节分析(三)——Swizzle<B, M, S>模板参数的取值
文章以(8, 32):(32, 1)为例,探索确定Swizzle<B, M, S>中M、S和B参数的方法。指出M、S与PTX指令及共享内存多Bank结构相关,B用于指定Swizzle行数避免bank conflict,还给出不同Layout的参数取值。
中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。
Loop Engineering,4层循环自我进化
Loop Engineering旨在解决人工调度agent的问题,设计系统替人prompt。其系统是四层嵌套循环,从内到外分别让agent干活、干得对、知道何时干、越干越好,还指出优化循环结构收益渐增。
刚刚,阿里Qwen3.6又悄悄放出4个开源权重,卷疯了
继今年2月发布Qwen3.5系列后,阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性,为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。
无需租GPU,一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B,总参数 35B,激活 3B。它在智能体编程上超越前代,可与稠密模型媲美,支持多模态,已在 Qwen Studio 上线,还能集成第三方编程助手。
Qoder @database功能上线!自动关联数据库 Schema,后端 AI Coding 效率拉满
Qoder JetBrains插件上线@database功能,将数据库能力内置为核心上下文,可一键让AI结合真实业务表结构处理SQL编写等任务。它是JetBrains上唯一深度支持“数据库原生感知”的AI Coding插件,还介绍了使用方法、场景及注意事项。
混元 Hy3 发布:99% 的任务,够用了
腾讯混元模型 Hy3 正式上线,免费使用两周。它是快慢思考融合的 MoE 模型,主打 Coding 和 Agent 场景,性价比高。作者用它做了多项测试,如制作 PPT、开发代码、舆情分析等,还与 GLM - 5.1 对决,表现不错。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
一个投资人与他的AI龙虾助手70天真实协作笔记|甲子光年
恒海奇点创始人姜海舟分享与OpenClaw构建的AI Agent协作系统70天经验。他指出企业AI化瓶颈在信息结构,提出四个判断,包括AI缺信息、‘眼高手低’者赢、AI不裁人、‘吓尿点’临近,认为窗口期只剩3 - 6个月。