「分层缓存」共找到 265 篇相关文章
谷歌一篇论文引爆存储芯片崩盘!AI内存需求暴降6倍,推理狂飙8倍
谷歌发布TurboQuant算法,将缓存压到3 - bit,内存占用降为1/6,推理速度提升8倍。该算法冲击存储巨头,引发股价下跌,虽目前未改变采购量,但改写推理成本,且从论文到落地的路在缩短。
视频世界模型跑长序列不「崩」了!用光流约束+历史记忆+多步训练,让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题,核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架,通过光流约束、历史缓存检索和多步聚合训练,有效缓解误差累积。
2499 元产品背后:地瓜机器人将智驾 know-how 转为机器人新解法
AI重塑机器人技术边界,具身智能成新战场。地瓜机器人从地平线拆分,将智驾经验用于机器人。它提出大小脑分层架构落地更快,还推出RDK S100套件,搭建具身智能底座应对数据和应用难题。
拒绝重复造轮子!抽象 80% 工作场景,打造可复用的"AI 助手工厂”
文章指出,为解决重复开发AI助手的效率问题,智空间团队将高频需求抽象为可复用技术方案,打造“AI助手生产线”。介绍四大高频场景本质、共性挑战及对应方案,还阐述分层架构、解决方案、prompt架构等,最终落地“助手工厂”产品。
20美元,撕开人类思维鸿沟!宾大教授警告AI隐形阶层战
宾大教授Ethan Mollick指出,AI已成新社会基础设施,正制造人类内部分层。从免费到20美元、200美元,不同付费层级对应不同使用模式和能力,思维差异才是关键,未来需培养与AI协作的直觉。
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。
独家 | 华为天才少年楼燚航离职创业,要做 200B 以上的「具身大脑」
前华为“天才少年”楼燚航离职创立引力蓝移,定位构建具身大脑。其采用分层架构,认为具身智能Scaling拐点已至,规划了数据来源和模型参数规模。正与汇川合作,按24个月规划推进,面临产品验证挑战。
LeCun亲自出镜打脸质疑者!憋了20年的AI世界模型,终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展,目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练,有两阶段训练细节,能用于机器人规划,Meta还发布三个基准测试,后续将研究分层和多模态JEPA模型。
大模型能力,小模型成本!Google等 | 提出递归混合框架:MoR, 大幅提升LLM计算效率
Google提出递归混合框架(MoR),融合参数共享与自适应计算。它有轻量级路由和KV缓存策略,在不同路由机制各有优劣。实验显示,MoR在性能、计算和内存效率上表现出色,有望实现“大模型能力,小模型成本”。
开启端侧长文本时代!面壁全新架构,让小钢炮最快提升220倍
2025智源大会上,面壁智能发布MiniCPM 4.0模型,实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色,降低缓存需求,提高运行效能,还进行多维度架构创新,是AI领域探索高效率语言模型的里程碑。