算法论文9
预训练Token消耗腰斩 开源隐空间大模型
机器之心
AI 摘要
上海AI Lab与上交大团队:打破大语言模型逐词预测的预训练教条,提出下一个概念预测新任务,预训练Token消耗减半,收敛速度提升1.95倍,开源8.9B隐空间大模型,下游性能全面提升。
阅读原文 · 机器之心
预训练Token消耗直接腰斩!上海AI Lab&上交大提出全新预训练任务,开源首个8.9B隐空间大模型NCP-ArchPreview
本文介绍上海AI Lab与上海交大团队联合提出全新预训练任务NCP,打破传统逐词预测教条,开源全球首个8.9B规模离散隐空间基座大模型,预训练Token消耗仅需一半,收敛速度提升近一倍,下游性能显著提升,公开全部训练资产供全球研究使用。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态9
DeepSeek开源推理框架 AI毛利达82%
DeepSeek开源了支撑自身大规模推理服务的框架DeepInfer与配套token编解码组件deepseek-recipe,披露的吞吐量数据经计算得出大模型API毛利率达82%,引发AI行业对盈利性与推理优化的广泛讨论。
机器之心
产品应用8
一句话指挥机器人组团打工越干越聪明
本文报道2026物理AI与世界模型大会上爱思科技的创新物理AI成果,其自研Agnes Harness框架可通过自然语言指挥多设备协同,具备双进化能力,探索AI落地产业路径。
机器之心
新闻资讯9
爱思自进化AI王者全胜 杀入物理世界
本文报道爱思科技在南京物理AI与世界模型大会上,展示自研双进化自进化AI系统:王者荣耀AI战队从零胜率打到人机100%全胜,还实现机械臂边干活边迭代进化,打通AI进入物理世界的路径,开源了Agent基础设施Agnes Harness。
新智元
开源动态9
通义千问开源FlashQLA优化库
本文整理自阿里巴巴Qwen团队工程师在AICon 2026深圳站的技术分享,针对大模型长序列下线性注意力原实现并行度不足、访存冗余、SFU负载过高等痛点,推出FlashQLA高性能GPU算子库,实现最高3倍性能提升,现已开源并成为FLA官方后端。
InfoQ