「GPU架构」共找到 2199 篇相关文章
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。
Cursor发布首个编程大模型!代码生成250tokens/秒,强化学习+MoE架构
Cursor 2.0正式发布,搭载自研大模型Composer。它30秒完成复杂任务,比同行快400%,每秒生成250个tokens。还带来原生浏览器工具等新功能,基于强化学习,但模型底子透明度遭质疑。
Google Research 开源新架构,AI 不再依赖云端,直接跑在手表和耳机上
Google Research 开源 Coral NPU 平台,是面向硬件工程师与 AI 开发者的全栈开源方案,可克服 AI 在可穿戴和边缘设备落地的瓶颈,实现能耗与算力平衡,还能解决算力、生态、隐私等问题。
开源共建重塑推理 Infra:从架构创新到生态协同,Mooncake的破局之路
大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心,通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。
一年4次迭代,狂堆GPU成真!微软AI冷液灌芯,散热暴涨3倍
AI芯片发热问题严重,限制了其发展。微软推出微流体冷却技术,在芯片内开液体血管,散热效率最高提升3倍,温升降65%。一年4次迭代解决诸多难题,影响从省钱到使用体验,更是抢跑未来的布局。
谷歌DeepMind曝光首个“AI 经济体”完整架构,Agent催生全新经济体正在悄然成形
谷歌DeepMind论文描绘由AI Agent自主交易和协作的经济体,提出“沙盒经济”框架,分析其起源与隔离程度,指出发展方向及挑战,还给出应用场景、市场机制、设计方案、基础设施层和行动建议。
刚刚,高盛发布26页深度 AI 报告:谁将为GPU的饥渴买单?
高盛发布26页《Powering the AI Era》报告指出,AI服务器农场吸电速度远超电网扩容,引发电力危机。报告分析电力供应来源、应对策略等,还提到数据中心供需缺口扩大,电力成AI最大瓶颈,中国公司或因电力等优势成劲敌。
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
本文报道由vLLM原班人马创立的Inferact公司,联合谷歌优化后,16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%,相关代码已开源,详解了背后的技术优化思路。
首次曝光!OpenAI新一代旗舰Astra换上“循环深度”推理架构:用计算深度换参数规模
9月2日消息,OpenAI将推出的旗舰模型Astra采用“循环深度”新技术,用较小模型实现庞大模型性能,降低成本。但该技术会让AI推理过程不可读,加重安全担忧,此前奥特曼已因Astra“能力过强”踩刹车。
堆了一仓库GPU,却生产不出专业智能?九章云极用AI工厂给出解答
企业接入通用大模型到业务系统,却发现它难以执行任务。九章云极在发布会上推出‘AI工厂’战略,通过训练工厂和Token工厂填平执行鸿沟,前者用强化学习造专业模型,后者让专业智能规模化流通。