MoE模块」共找到 381 篇相关文章

开源动态8

阿里开源Qwen3-Coder-Next,80B参数仅激活3B的MoE顶尖编程助手

阿里开源小型MoE代码模型Qwen3 - Coder - Next,总参数量800亿但仅激活30亿参数,在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏,模型训练分阶段,多领域专家模型能力整合,基准测试性能强劲。

AIGC开放社区
产品应用8

腾讯用AI把美术管线重新做了一遍,混元3D Studio架构曝光

腾讯推出专业级AI工作台混元3D Studio,可覆盖3D资产生产全流程,让生产周期大幅缩短。它有组件拆分、可控图像生成等七大核心技术模块,各模块对应关键阶段,实现无缝衔接与自动化。

量子位
产品应用8

MoE不够看了,腾讯推出MoT:2B具身模型22项评测16项最佳

腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型,含MoT - 2B和MoE - 32B两款主力模型。在22项评测中,MoT - 2B获16项最佳,其架构、数据和训练有创新,能应用于机器人控制。

量子位
新闻资讯8

从 AI Agent、RLHF 到 MoE 大规模训练:AMD 这场开发者日,把一线实战话题凑齐了 |Q推荐

AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题,覆盖AI Agent、RLHF、MoE大规模训练等前沿领域,还有多场实操分享。

InfoQ
开源动态8

刚刚,DeepSeek 突发梁文峰署名新论文:V4 新架构提前曝光?

今天凌晨,DeepSeek在其GitHub官方仓库开源了新论文与模块Engram。该论文提出“查—算分离”机制,通过引入可扩展的查找记忆结构,在等参数、等算力条件下提升模型表现,代码与论文全文均已开源。

AI前线
开源动态8

刚刚,DeepSeek 突发梁文锋署名新论文:V4 新架构提前曝光?

今天凌晨,DeepSeek在GitHub开源新论文与模块Engram,论文提出“查—算分离”机制,通过可扩展查找记忆结构提升模型表现。Engram将记忆与计算职责分离,或成V4核心技术,获网友肯定。

InfoQ
推荐文章7

中国产业叙事:中际旭创

本文讲述中际旭创发展历程。它原是电机绕组设备厂,2017年收购苏州旭创跨界光通信。借AI算力浪潮,2023年首发1.6T光模块,2024年营收、利润大增,成全球光模块市场榜首企业,还分析了光模块技术趋势。

芯师爷
算法论文8

AI失忆术!只需3个注意力头,就能让大模型忘记「狗会叫」

Meta和纽约大学团队发布论文《From Concepts to Components》,提出SAMD和SAMI方法。前者定位模型概念注意力模块,后者微调强度。能让模型‘失忆’,还可增强推理、控制安全,为AI研究开新方向。

新智元
推荐文章8

深入理解OpenClaw技术架构与实现原理(下)

文章为《深入理解OpenClaw技术架构与实现原理(下)》,讲解各系统模块,如SandBox沙箱系统、记忆管理等,还介绍自进化、工作区与路由等机制,最后展望企业级智能体架构和应用方向演进。

阿里云开发者
开源动态8

kimi K3超大杯升级背后的技术内幕

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。

Agent的潜意识