新闻资讯7
OpenAI 开源模型泄露六大技术细节
AI寒武纪
AI 摘要
据爆料，OpenAI 或推两款开源模型，1200 亿参数 MoE 与 200 亿参数稠密模型，专注文本。采用 Float4 训练、SwiGLU 激活函数等技术，还融合 Llama/Mixtral 特点，优化不少。
阅读原文 · AI寒武纪
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
OpenAI722篇稿站在科学家肩上
本文报道，OpenAI公开722篇AI撰写的数学与理论计算机稿件后，丹麦学者发起开源项目《巨人之肩》对这批稿件的参考文献做了系统溯源，揭示了AI成果背后人类科学家的核心贡献，厘清了二者在AI科研中的分工。
新智元
新闻资讯8
全球最大AI芯片Cerebras迎商业化考验
本文分析“全球最大AI芯片”厂商Cerebras的商业化现状，结合与OpenAI的合作动态、最新财报数据，拆解其晶圆级推理芯片的技术优势，同时点出其交付、现金流等核心考验，探讨推理芯片赛道的路线选择。
DeepTech深科技
推荐文章9
陶哲轩：AI开启数学2.0时代
本文报道菲尔兹奖得主陶哲轩发表《数学2.0》演讲，梳理近期AI接连攻克重大数学难题的进展，提出AI将数学带入证明过剩的新时代，警示人类不能丢失对数学的理解，呼吁人机合作增强认知。
新智元
开源动态9
iPhone断网可跑35B国产开源大模型
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值
量子位