开源动态7
OpenAI开源新模型,或让MoE模型没落
量子位
AI 摘要
OpenAI开源新模型,运用Circuit Sparsity技术,砍断99.9%连接让模型计算可拆解。该思路或使MoE模型没落,但Circuit Sparsity算力成本高,团队正研究降本方法。
阅读原文 · 量子位
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE
OpenAI悄悄开源新模型,0.4B参数且99.9%权重为零,是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性,解决传统稠密Transformer黑箱问题,或让MoE模型走上末路,但目前算力成本极高。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
OpenAI722篇稿站在科学家肩上
本文报道,OpenAI公开722篇AI撰写的数学与理论计算机稿件后,丹麦学者发起开源项目《巨人之肩》对这批稿件的参考文献做了系统溯源,揭示了AI成果背后人类科学家的核心贡献,厘清了二者在AI科研中的分工。
新智元
产品应用8
自然意志发布Natura-1具身智能模型
本文报道北京具身智能公司自然意志发布全新Natura-1模型,该50B参数MoE模型基于百万小时人类第一视角经验预训练,可驱动20自由度灵巧手实现零样本泛化,完成各类复杂日常操作,攻克了机器人灵巧与通用难以兼得的难题。
机器之心
产品应用9
阶跃发布首款Agent手机STEPX Neo
本文作者实测体验阶跃终端推出的首款大模型原生Agent手机STEPX Neo,介绍了产品设计、原生Agent系统能力、创客开发生态与系统级安全方案,公布了产品定价与用户福利。
量子位
新闻资讯8
Kimi K3 DeepRSI夺国产第一
本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准,测试大模型递归自我改进能力,设置48小时无网络自主科研挑战,最终Kimi K3拿下国产第一、开源第一,成果引发行业关注。
量子位