「内存压缩」共找到 421 篇相关文章

产品应用8

RecGPT-阿里的LLM推荐系统落地方案

文章介绍阿里RecGPT推荐系统落地方案,包括召回和推荐可解释性两方向。召回采用三塔结构,通过挖掘用户兴趣生成商品标签提升召回多样性。还提及行为序列压缩、推荐归因等,以及大模型微调和评估方法。

王喆的AI笔记
开源动态8

刚刚,OpenAI开源2个推理模型:笔记本/手机就能跑,性能接近o4-mini

OpenAI深夜开源gpt-oss-120b和gpt-oss-20b推理模型,距上次开源已6年。模型亮点多,性能强,在多方面表现超专有模型。官方还放实测视频,展示其使用效果,同时解释了开源原因。

量子位
新闻资讯7

Switch 2芯片细节曝光!英伟达专门定制支持DLSS,网友:掌机模式相当于PS4

数毛社消息,Switch 2采用英伟达真·定制版芯片,含8核CPU和12GB LPDDR5X内存,GPU基于Ampere架构,支持DLSS和光线追踪。不过配置也引吐槽,如掌机性能降、续航或不长等。

量子位
技术文章8

加一个JVM参数,让系统可用率从95%提高到99.995%

文章针对高并发系统不稳定问题,定位是系统内存索引切换时 GC 压力大所致。围绕让索引尽早晋升、直接分配到老年代等思路探索优化,经多番尝试,最终实现索引无感切换,使系统可用率达 99.995%。

阿里云开发者
开源动态8

叶子豪、陈天奇等人开源项目FlashInfer入选,MLSys2025最佳论文奖公布

近日,MLSys 2025公布最佳论文奖,FlashInfer等入选。FlashInfer由多机构合作发起,是灵活的LLM推理内核库,优化内存访问、有可定制模板和调度机制,性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。

机器之心
推荐文章7

为什么堆算力救不了大模型

文章指出大模型和人类大脑归纳规律路径不同,AI追求精确但脆弱的拟合,人追求粗糙但不变的压缩。大模型在可收敛系统表现惊艳,不可收敛系统则崩盘,未来AI产品核心是打造可收敛封闭环境。

AI科技评论
产品应用8

Tair 短期记忆架构实践:淘宝闪购 AI Agent 的秒级响应记忆系统

本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发,介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践,展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。

阿里云开发者
产品应用8

三星研究院发布手机端侧大模型MeKi:基于Memory的LLM扩展新范式,支持旗舰手机端侧部署

三星研究院发布端侧大模型架构MeKi,提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力,实现容量与性能提升。实验显示其性能、效率表现优,为边缘部署LLM提供新思路。

AI科技评论
算法论文8

56倍加速生成式策略:西交大提出EfficientFlow,迈向高效具身智能

生成式模型在机器人和具身智能领域面临训练依赖大量数据、推理慢的问题。西安交通大学团队提出EfficientFlow,融合等变建模与高效流匹配,提升数据效率,压缩推理迭代步数,在多基准实现SOTA,推理提效显著。

机器之心
新闻资讯9

中科大团队把会「倒推」的世界模型塞进了机器人,成立三个月拿下数千万融资!

本文报道中科大团队创办的白泽通境,推出具备溯因能力的世界模型AWM,自研端侧推理引擎BAIZ-RUN,可将世界模型压缩部署到机器人端侧,已完成多个工业场景验证,公司成立三月即获数千万首轮融资。

机器之心