「存储优化」共找到 1425 篇相关文章

算法论文8

不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化

随着LLM向1M上下文演进,KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述,用「时间 - 空间 - 结构」视角梳理KV cache优化方法,还归纳关键观察、提出开放挑战,并整理了资源库。

机器之心
新闻资讯8

谷歌一篇论文引爆存储芯片崩盘!AI内存需求暴降6倍,推理狂飙8倍

谷歌发布TurboQuant算法,将缓存压到3 - bit,内存占用降为1/6,推理速度提升8倍。该算法冲击存储巨头,引发股价下跌,虽目前未改变采购量,但改写推理成本,且从论文到落地的路在缩短。

新智元
开源动态8

3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。

机器之心
推荐文章8

对比 Codex,免费的 AgnesCode 也能在底层算子优化任务中打的有来有回

本文实测免费AI Coding Agent AgnesCode搭配Agnes 3.0 Flash,对比付费Codex组合在DeepSeek-V3底层算子多芯片优化任务中的表现,验证免费Agent胜任底层AI工程的能力,分享实测数据与行业洞察。

AI科技评论
开源动态8

AI4S设计的新抗生素通过湿实验!双层思考+多目标优化,主动发现「代谢不稳」并加约束

SAGA是新AI,采用双层思考机制,能主动审视需求、优化目标函数。在抗生素、纳米抗体等5大领域湿实验中表现出色,结果获科学家肯定,相关代码已开源。

量子位
新闻资讯7

OpenAI自研芯片内幕曝光!18个月前开始用AI优化芯片设计,比人类工程师更快

OpenAI与博通官宣合作,将共同部署10GW规模AI加速器。双方头头齐聚爆料合作契机与细节,OpenAI总裁称已用AI优化芯片设计,比人类工程师更快,且合作已持续约18个月。

量子位
算法论文8

揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路

上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。

量子位
算法论文8

CNSNS|西工大曹文博、张伟伟:克服优化求解器中的损失条件数瓶颈:一种良性损失函数

基于优化的偏微分方程求解方法受关注,但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈,指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR,在收敛速度与稳定性间建立平衡,实验验证其有效性。

力学与人工智能
新闻资讯8

国货之光!全球AI存储基准测试MLPerf Storage 3.0结果发布,斩获九项第一|甲子光年

9月1日,MLPerf Storage 3.0基准测试结果发布,XSKY星辰天合旗下MeshFS首次参赛,在并行文件存储赛道获九项第一。该测试覆盖多类负载,可多维度衡量存储系统性能,MeshFS兼顾性能与成本效率。

甲子光年
产品应用8

微信自研高性能推理计算引擎 XNet-DNN:跨平台 GPU 部署大语言模型及优化实践

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN,介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力,在多方面超越现有解决方案,还给出了详实对比实验数据。

腾讯技术工程