开源动态7
OpenAI:MXFP4让大模型推理成本降75%
量子位
AI 摘要
OpenAI在gpt - oss用MXFP4数据类型,让推理成本降75%,内存占用减、速度提升。虽MXFP4有缺陷,但OpenAI认为其够用,英伟达还推出NVFP4改进。
阅读原文 · 量子位
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
OpenAI:Astra、GPT - 6训练因安全暂停
OpenAI宣布暂停内部最强大模型强化学习,Astra模型暂停训练两周,GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施,或有营销意图。
AI寒武纪
新闻资讯7
OpenAI公布AI攻击防御指南
OpenAI联合创始人兼总裁Greg Brockman在Blog中警告,前沿AI Agent能自主找漏洞并发动网络攻击,AI降低攻击门槛,防御端却未跟上。他分享OpenAI四项安全措施及防御者十项举措,呼吁行业共建安全生态。
量子位
新闻资讯7
OpenAI暂停Astra训练,升级模型安全措施
OpenAI因模型或具网络攻击能力及此前入侵事件,全面升级研究环境安全。暂停模型训练,进行工作负载、网络隔离和安全测试,还扩展监控系统。期间推进对齐研究,未来用AI护AI,升级监控。
量子位
新闻资讯7
OpenAI高管:token比价不靠谱
OpenAI Codex负责人Tibo指出,不同模型对同一段文字切分的token数不同,即便单token价格相同,最终账单也可能差异很大。他还提到,token无统一计量标准,跨厂商和新旧模型计数都难通用,真正重要的是每次成功结果的成本。
新智元