效率优化」共找到 2250 篇相关文章

算法论文8

不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化

随着LLM向1M上下文演进,KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述,用「时间 - 空间 - 结构」视角梳理KV cache优化方法,还归纳关键观察、提出开放挑战,并整理了资源库。

机器之心
产品应用8

打破56年数学铁律!谷歌AlphaEvolve自我进化实现算法效率狂飙,堪比AlphaGo“神之一手”

谷歌DeepMind联合顶尖科学家打造「通用科学人工智能」AlphaEvolve,打破矩阵乘法领域56年效率基准,将4x4矩阵乘法标量乘法次数从49次降至48次,还在谷歌内部加速了运算、缩短训练时间。文中介绍其原理与技术。

量子位
产品应用8

微信自研高性能推理计算引擎 XNet-DNN:跨平台 GPU 部署大语言模型及优化实践

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN,介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力,在多方面超越现有解决方案,还给出了详实对比实验数据。

腾讯技术工程
算法论文8

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型,扩散语言模型的推理性能和效率大幅提升

扩散大语言模型发展迅猛,或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文,提出高效解码策略与强化学习训练组合,解决MDLM解码和训练问题,提升推理性能与效率

机器之心
产品应用7

从被吐槽“套壳中国大模型”到自研封神!首次揭秘Cursor背后极速代码Agent如何对标GPT5.1 Codex,生成效率提4倍

10月29日,Cursor 2.0发布Composer大模型,效率约为其他模型四倍。开发者分享其成极速代码Agent方法,如强化学习、平衡训练与推理负载等,还提及未来方向及研发反思。

InfoQ
推荐文章7

如何让AI推荐企业官网?官网GEO优化怎么做?【必看】

白杨SEO从网站代码优化、站内内容、站外推广三方面,介绍让AI推荐企业官网及做好官网GEO优化的方法。如代码优化要主动提交网站、部署SSL证书等,还给出企业官网老板执行清单。

白杨SEO优化教程
算法论文7

拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

文章拆解大模型核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度,还介绍各操作原理、问题及优化方法。

腾讯技术工程
推荐文章7

破局大模型推理困局!华为张君详解昇腾“融合算力”的优化秘籍

华为高级开发工程师张君在AICon大会演讲,围绕大模型推理优化,从模型、框架、算子层展开,结合案例阐述技术方案。分析大模型推理现状挑战,介绍加速技术,分享昇腾硬件算子优化实践及通算融合算子优化方法。

InfoQ
推荐文章7

优化搜索系统:平衡速度、相关性和可伸缩性

这篇文章基于作者在 2024 年旧金山 QCon 大会演讲,探讨搜索系统优化。以优步外卖为例,分析其在数据索引、检索和排名方面挑战,介绍优化技术及对用户体验和系统性能影响,还提及架构、分片技术等内容。

InfoQ
推荐文章7

我用了13年,与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享,百度SEO不放弃!

白杨SEO分享从网站优化到AI搜索优化经历,讲述入行缘由、职场项目,介绍自由职业业务,分析百度SEO阶段与变化,建议别放弃,还给出对SEO未来看法,如回归国外、做新媒体SEO等。

白杨SEO优化教程