「内存池」共找到 226 篇相关文章
为什么HBM能摆脱传统周期?
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动,而AI推理不同,大模型推理对内存依赖是硬约束,GPU更新对HBM需求几乎注定指数级增长。
本地/云电脑双模式,豆包来了!
黄叔实测豆包「工作任务」模式,其有独特的本地/云电脑双模式。本地能分析电脑内存问题,云端可处理监控任务,还能助力开发复杂项目,且Skill自动接入,与本地电脑实时同步。
Cloudflare 发布 Dynamic Workers 公开测试版:基于 Isolates 的沙箱环境执行 AI 智能体代码
Cloudflare 推出 Dynamic Worker 公开测试版,面向付费用户。它用 V8 Isolates 运行代码,启动快、内存效率高,基于 Code Mode 理念,用 TypeScript 接口定义 API,有多种防护策略,还发布配套库,已用于生产。
皮皮虾也来了!超低成本超高效版OpenClaw
PicoClaw是超轻量级个人AI助手,灵感源于nanobot,用Go语言重构。它成本低、内存占用少、启动快,支持多架构。还介绍了安装、配置、聊天应用等使用方法,及命令行参考和定时任务功能。
GoPro卖身了,准备搞光模块
当地时间9月1日,GoPro与Starman Optical达成合并协议,后者2.85亿美元收购约90%股权。GoPro曾辉煌,后因产品、对手、内存等问题衰败。Starman看中专利等,GoPro或涉足新领域。
MiniMax都在用!5500PB幕后功臣首次亮相,国产黑马祭出杀招
AI浪潮中,数据流不动致GPU算力空转,XSKY星辰天合举办AIMesh产品战略发布会破局。AIMesh含三网,分别解决IO墙、重力墙、内存墙问题,且开放解耦,获多方认可。
H100去哪儿了?
X 用户疑问引发关注,H100 供应下降成算力危机。超大规模云厂商和前沿实验室提前锁定产能,核心短缺在于内存与封装工艺。算力危机冲击 AI 生态,产业界有应对方法,但短缺问题短期内难解决。
Transformer终结者!谷歌DeepMind全新MoR架构问世,新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构,推理速度翻倍、内存减半,重塑LLM性能边界,碾压传统Transformer。它融合参数共享与按需计算,有路由和KV缓存策略,实验显示其性能优越、可扩展性好。
OOM排查之路:一次曲折的线上故障复盘
文章复盘了整合Paimon数据湖与RocksDB的系统三次OOM故障排查过程,分享曲折经历,介绍MAT、NMT等排查工具,还给出内存问题排查思路,望为相似技术栈者提供启发。
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。