高稀疏度MoE结构」共找到 712 篇相关文章

算法论文8

单卡4090也能高质量视频编辑!西湖AGI Lab无训练框架FlowDirector来了

视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架,可将基于流的视频生成模型改造成编辑工具,质量高、功能广、开销低,解决了时序、结构和编辑幅度问题。

机器之心
推荐文章7

CUTLASS CuTe GEMM细节分析(三)——Swizzle<B, M, S>模板参数的取值

文章以(8, 32):(32, 1)为例,探索确定Swizzle<B, M, S>中M、S和B参数的方法。指出M、S与PTX指令及共享内存多Bank结构相关,B用于指定Swizzle行数避免bank conflict,还给出不同Layout的参数取值。

GiantPandaLLM
推荐文章7

中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?

本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。

AI大模型应用实践
推荐文章7

Loop Engineering,4层循环自我进化

Loop Engineering旨在解决人工调度agent的问题,设计系统替人prompt。其系统是四层嵌套循环,从内到外分别让agent干活、干得对、知道何时干、越干越好,还指出优化循环结构收益渐增。

CourseAI
开源动态7

刚刚,阿里Qwen3.6又悄悄放出4个开源权重,卷疯了

继今年2月发布Qwen3.5系列后,阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性,为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。

PaperAgent
开源动态7

无需租GPU,一台24GB内存的笔记本就够了!

阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B,总参数 35B,激活 3B。它在智能体编程上超越前代,可与稠密模型媲美,支持多模态,已在 Qwen Studio 上线,还能集成第三方编程助手。

GitHubStore
产品应用7

Qoder @database功能上线!自动关联数据库 Schema,后端 AI Coding 效率拉满

Qoder JetBrains插件上线@database功能,将数据库能力内置为核心上下文,可一键让AI结合真实业务表结构处理SQL编写等任务。它是JetBrains上唯一深度支持“数据库原生感知”的AI Coding插件,还介绍了使用方法、场景及注意事项。

阿里云开发者
产品应用7

混元 Hy3 发布:99% 的任务,够用了

腾讯混元模型 Hy3 正式上线,免费使用两周。它是快慢思考融合的 MoE 模型,主打 Coding 和 Agent 场景,性价比高。作者用它做了多项测试,如制作 PPT、开发代码、舆情分析等,还与 GLM - 5.1 对决,表现不错。

AGI Hunt
算法论文8

这些大神在Meta的论文看一篇少一篇了

田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。

量子位
推荐文章8

一个投资人与他的AI龙虾助手70天真实协作笔记|甲子光年

恒海奇点创始人姜海舟分享与OpenClaw构建的AI Agent协作系统70天经验。他指出企业AI化瓶颈在信息结构,提出四个判断,包括AI缺信息、‘眼高手低’者赢、AI不裁人、‘吓尿点’临近,认为窗口期只剩3 - 6个月。

甲子光年