「算力节省」共找到 866 篇相关文章
消费级具身智能跨越式新品:算力提升1000倍,对标英伟达Jetson Thor芯片,成本仅1/10!
蔚蓝科技发布新款机器狗 BabyAlpha A3,算力提升 1000 倍,对标英伟达 Jetson AGX Thor T5000 芯片,成本仅 1/10。它采用国产芯片,具身智能边缘端混合异构计算集群,感知超人类,实现全自主智能。
AI算力大战打到太空!英伟达前脚H100入轨,谷歌TPU后脚上天,中国玩家笑而不语
英伟达和谷歌在太空算力布局上竞争激烈,英伟达H100已入轨,谷歌TPU预计2027年初上天,二者都想建吉瓦级数据中心。太空部署有成本、散热等优势,但也有工程挑战,而中国之江实验室星座已商用。
全球首个完全AI编写的训练框架来了,速度反超英伟达:面壁要用 AI 把国产算力软件重写一遍
面壁智能发布全球首个全由AI编写的训练框架ForgeTrain,在华为昇腾系列上验证,速度超英伟达Megatron 10%。其构建分三阶段,目标是为不同需求“现场锻造”软件,还为国产算力软件生态赶超提供新思路。
互联网免费数据已被吃光,普通人反馈早没用了?前英伟达工程师:Transformer的原罪浪费算力,聊天机器人把GPU全糟蹋了
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”,AI 终局应是后台 Agent。他执行“算力拾荒者战略”,想降低智能成本,还指出 Transformer 架构有缺陷,互联网数据被吃光等问题。
递归神经网络的复兴:Mixture-of-Recursions
Google DeepMind研究者设计的语言模型,能判断关键单词并进行深度递归计算,通过轻量级“路由器”节省计算资源,在同等训练成本下表现显著优于传统模型,文中还提及其他解决动态算力分配问题的思路。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
DeepSeek深夜炸场,开源了一个新项目&论文,V4打前站?
凌晨,DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力,在多方面实验表现出色,如推理任务增幅大于知识任务,还分析了其机理和系统效率。
o3崛起,但推理模型离「撞墙」只剩一年?
OpenAI的o3推理模型诞生不到一年能力突飞猛进,算力暴增10倍。但Epoch AI等警告,最多一年推理模型或撞上算力资源极限。还从其他模型和业内人士看法分析推理算力,指出算力与性能有关联,也有发展瓶颈。
GPT-6抢先发布?Mythos被曝难产,算力惊人烧垮Anthropic
新智元报道,OpenAI狂烧6000亿且高管内讧,Anthropic收入暴涨但服务器扛不住。GPT - 6消息传得沸沸扬扬,Mythos却因算力难产。双方在算力、上市等方面竞争激烈,都面临困境。
OpenAI也缺卡!僧多粥少,自曝内部抢卡抢到发疯
OpenAI正面临绝对的算力稀缺,总裁Greg Brockman自曝内部算力资源争夺严重。算力是创新根本驱动力,因资源有限,许多产品无法发布,如ChatGPT Pulse部分功能仅对Pro用户开放。OpenAI有资源分配机制,但平衡各团队需求不易。