内存申请延时」共找到 285 篇相关文章

算法论文8

Qwen突破:用「并行计算」代替「堆参数」,新方法内存降22倍、延迟降6倍

LLM进化依赖「堆参数」,存在训练成本高、推理慢等问题。论文提出ParScale,用「并行计算」代替「堆参数」,让模型「分头思考」,推理效率提升22倍,旧模型也能改造,落地价值大。

深度学习自然语言处理
算法论文8

ICML 2025 Spotlight|华为诺亚提出端侧大模型新架构MoLE,内存搬运代价降低1000倍

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题,推理时将专家输入改embedding token,用查找表替代矩阵运算,实验显示性能与MoE相当,大幅降推理延迟。

机器之心
开源动态8

2.5K Star 牛皮项目,512MB内存就能跑,树莓派、旧电脑秒变专属云桌面!

介绍开源Web桌面操作系统ArozOS,它由香港开发者tobychui为低功耗设备设计。始于2016年,用Go语言编写,在Github获2.5K star。功能强、资源占用低、易安装,能让旧设备变个人云桌面。

开源先锋
算法论文8

博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存

近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。

AI前线
产品应用8

劈柴哥和哈萨比斯亲自站台!谷歌世界模型Project Genie刷屏,幕后团队揭秘60秒不是极限,内存是巨大约束

谷歌发布世界模型原型 Project Genie,用一句话或图就能生成可玩交互的实时虚拟世界,由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建,解决了世界模型长期以来的短板,目前处于实验阶段。

InfoQ
产品应用8

劈柴哥和哈萨比斯亲自站台!谷歌世界模型Project Genie刷屏,幕后团队揭秘60秒不是极限,内存是巨大约束

谷歌发布世界模型原型产品 Project Genie,只需一句话或图就能一键生成可玩、可交互实时虚拟世界。它借助 Genie 3 等构建,解决了早期世界模型多短板,虽现处实验阶段,但已引发热议,应用潜力大。

AI前线
新闻资讯7

10万亿算力订单根本hold不住?Altman偷递11页“要钱申请”,还嘴硬 “不求联邦”,白宫直拒:谁都不救!

近日,OpenAI就财务状况发表声明引发混乱,面临不诚实指控。其CEO称预计到年底年收入达200亿美元,2030年达数千亿,但此前CFO提议政府‘支持’,全球事务官也请求扩大税收抵免。白宫称不会救助,而OpenAI信件却与Altman否认态度冲突。

InfoQ
新闻资讯7

10万亿算力订单根本hold不住?Altman偷递11页“要钱申请”,还嘴硬 “不求联邦”,白宫直拒:谁都不救!

近日,OpenAI 就财务状况表态引发混乱,面临不诚实指控。首席财务官提议政府‘支持’公司基础设施贷款后又收回表述,白宫 AI 主管称不会救助。Altman 否认寻求担保,但公司信函细节与之冲突。

AI前线
新闻资讯8

慕了!内存芯片巨头年终奖人均64万;32岁程序员猝死背后公司被扒,曾给39万“封口费”;马斯克曝星舰成本将降99%,商业航天受捧|AI周报

这是一篇AI周报,涵盖多领域热点。如SK海力士发高额年终奖;月之暗面张予彤称Kimi用少量资源开发领先模型;马斯克透露星舰目标、人形机器人计划等;多家公司有新动态,如阿里推AIGC应用、百川发布医疗大模型等。

AI前线
新闻资讯7

软银与英特尔合作,开发AI存储芯片

Nikkei消息,软银与英特尔宣布成立合资公司Saimemory,开发适用于AI的堆叠式动态随机存取存储器原型,目标两年内降低50%功耗,实现与高带宽内存相当性能。双方注资7000万美元,各有布局目的。

AIGC开放社区