开源动态8
中科院SpikingBrain:2%数据,百倍速度
AIGC开放社区
AI 摘要
中科院团队发布类脑脉冲大模型SpikingBrain 1.0,处理长文本比主流Transformer快超百倍,训练数据仅2%。它换用新架构,降低复杂度,还能转换现有模型,在国产GPU训练并开源。
阅读原文 · AIGC开放社区
中科院类脑大模型SpikingBrain,2%数据,百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍,训练数据仅为2%。该模型采用新架构,降低计算复杂度,还可转换现有模型,且在国产GPU完成训练。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程
推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
本文系统梳理神经网络激活函数的发展历程,从传统普通激活到门控激活,讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景,帮助入门者理解设计思路
AINLPer
推荐文章9
腾讯15年工程师转战大模型推理
本文是腾讯15年资深后台工程师吴银光的转型自述,分享了他从零切入大模型推理工程的抉择过程,给出了清晰的入门路径与自检方法,分析了AI Infra与传统Infra的异同,为有意转型AI的技术人提供了实用参考。
腾讯技术工程
新闻资讯7
OpenAI新Astra架构曝光,GPT - 6或今晚上线
OpenAI下一代Astra采用「循环深度」推理方法,思考Token减少但性能提升,不过其思考过程难监控。此前业界已对「循环Transformer」有研究,该架构适合数学编程任务,Astra实力获验证,GPT - 6或即将发布。
新智元