超稀疏MoE」共找到 2278 篇相关文章

算法论文8

谢赛宁、李飞飞、LeCun联手提出多模态LLM新范式,「空间感知」登场

纽约大学助理教授谢赛宁与李飞飞、Yann LeCun 合作提出「Cambrian - S」,迈出视频空间感知探索第一步。该研究引入 VSI - Super 基准,还提出预测性感知范式,在空间认知任务上有提升,相关论文值得视频多模态研究者参考。

机器之心
开源动态8

国产模型新盛况!王座易主:Kimi K2 Thinking开源闭源

月之暗面开源 Kimi K2 Thinking 模型,多方面性能 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考,在多项基准测试达 SOTA 水平,成本低且授权宽松,引发全网讨论。

机器之心
产品应用8

文心快码正式发布 AI IDE,生成 43% 百度新增代码

6月23日,百度副总裁陈洋发布文心快码独立AI原生开发环境工具Comate AI IDE,这是行业首个多模态、多智能体协同的AI IDE。目前文心快码生成代码占百度每天新增代码43%,在多方面有显著优势。

InfoQ
推荐文章7

轻量级Multi-agent,可独立用于生产,也可扩展LangChain、CrewAI、Agno

越来越多AI玩家加入Multi - agent领域,现有框架复杂冗长。本次分享可用于生产的轻量级Multi - agent Water,它不依赖任何框架,还能扩展LangChain等,文中介绍其核心组成与上手教程。

CourseAI
算法论文8

华人团队终结Token危机:扩散模型数据潜力自回归三倍

最新研究发现,token数量受限下,扩散语言模型数据潜力自回归模型三倍多。一个1B参数的扩散模型用1B tokens训练,在基准测试取得不错准确率,且未现性能饱和。

量子位
新闻资讯7

大模型年中报告:Anthropic 市场份额 OpenAI,开源模型企业采用率下降

本文基于年中报告指出,当前模型API支出翻倍,企业重心转向模型推理。Anthropic市场份额OpenAI,开源模型企业采用率下降。代码生成成热门场景,企业换模型重性能,AI支出从训练转推理。

Founder Park
开源动态7

DeepSeek开源MoE新利器LPLB:基于线性规划,专攻训练动态负载不平衡

DeepSeek在GitHub开源LPLB,这是基于线性规划的并行负载均衡器,用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡,支持多种拓扑结构,但也存在成本估算等局限性。

AI寒武纪
开源动态8

单卡跑出集群效率!Hugging Face TRL 与 RapidFire AI 的并行革命

Hugging Face宣布其核心微调库TRL集成RapidFire AI,重构大模型后训练阶段工作流。RapidFire引入并行实验引擎,提升实验验证速度,解决算力受限团队的调参难题,带来效能质变。

AIGC开放社区
产品应用8

华为 | MoE推理「王炸」组合:昇腾原生盘古推理,性能狂飙6-8倍!

华为团队推出昇腾平台原生Pangu Pro MoE 72B模型,经系统级软硬协同等优化,推理性能提升6 - 8倍。还提出分层混合并行等策略,打造融合算子,设计推理算法,在昇腾不同平台展现卓越性能。

AINLPer
新闻资讯8

卡车自动驾驶里程10亿公里,嬴彻科技定义“货运物理AI”

2026年9月3日,嬴彻科技宣布卡车自动驾驶商业运营里程破10亿公里,以90%市场份额领跑中国卡车智驾市场。其构建“货运物理AI”,有三大核心能力,还布局全场景货运网络,海外业务也有突破。

量子位