Flash - MoE」共找到 269 篇相关文章

开源动态8

杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA

172天后,Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构,1T参数,激活参数32B,在多任务上领先,发布即开源,还分享技术细节,实测有亮点也待优化,展现回归之势。

量子位
开源动态8

没想到,最Open的开源新模型,来自小红书

向来低调的小红书昨日开源首个自研大模型 dots.llm1,它是中等规模的 MoE 模型,在较小激活量下性能良好。其开源力度堪称行业最大,还介绍了数据处理、训练优化等多方面技术细节。

机器之心
算法论文8

腾讯混元 TurboS 技术报告首次全公开:560B 参数混合 Mamba 架构,自适应长短链融合

日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型,有自适应长短思维链机制,总参 560B。在多榜单成绩亮眼,多语种和多任务处理能力强,还介绍了核心创新、训练策略等。

InfoQ
产品应用7

刚刚,Top级的视频AI免费了!我反手做了个精致版《牛来》

明星AI实验室Agnes发布的Agnes Video 2.5系列已上线Pavo创作平台。其中,Agnes Video 2.5 Flash免费,适合AI短剧创作者;Agnes Video 2.5每天送积分,适合商业场景。实测显示其效果佳,免费还能大胆试错。

量子位
开源动态8

老黄入局吃龙虾!英伟达发布最强开源Agent推理模型

英伟达发布并开源120B参数的MoE模型Nemotron 3 Super,在多项测试中表现出色。它原生支持100万token上下文,吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型,开放全参数权重等。

量子位
算法论文8

ICLR 2026|原生多模态推理新范式ThinkMorph ,让文字与图像在统一架构中共同演化

NUS、ZJU 等联合提出「ThinkMorph」,主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型,视觉推理平均提升 34.74%,多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash,还涌现新能力。

机器之心
开源动态8

智能体编程“小钢炮”:Qwen3.6-35B-A3B开源!

Qwen3.6-35B-A3B开源,是稀疏MoE模型,总参350亿、激活参数30亿,轻量高效,在智能体编程等方面表现卓越,超越前代,可与稠密模型媲美,支持多模态,已在Qwen Studio上线并发布开源权重。

千问大模型
开源动态8

英伟达成开源新王?Nemotron 3全新混合专家架构,推理效率升4倍

北京时间今天凌晨,英伟达发布 Nemotron 3 系列开放模型,含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face,采用混合 MoE 架构,推理效率提升显著。该系列还具备多种核心技术和实用能力,相关工具和数据集也已开源。

机器之心
开源动态8

更大,还能更快,更准!蚂蚁开源万亿参数语言模型Ling-1T,刷新多项SOTA

10月9日,蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构,在编程、数学推理等多维度测试表现亮眼,还能兼顾精确与效率。此外,它在多场景实用性强,其创新设计提升了能效比与性能。

机器之心
开源动态8

音频全能王炸!小米MiMo-Audio开源,力压Gemini/GPT-4o!

小米团队开源通用音频大模型MiMo-Audio,集多种功能于一身,支持7国语言零样本克隆和中英混合合成。首包延迟低,效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。

开源星探