「矩阵运算」共找到 108 篇相关文章
ICML 2025 Spotlight|华为诺亚提出端侧大模型新架构MoLE,内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题,推理时将专家输入改embedding token,用查找表替代矩阵运算,实验显示性能与MoE相当,大幅降推理延迟。
打破56年数学铁律!谷歌AlphaEvolve自我进化实现算法效率狂飙,堪比AlphaGo“神之一手”
谷歌DeepMind联合顶尖科学家打造「通用科学人工智能」AlphaEvolve,打破矩阵乘法领域56年效率基准,将4x4矩阵乘法标量乘法次数从49次降至48次,还在谷歌内部加速了运算、缩短训练时间。文中介绍其原理与技术。
单应计算加速数十倍、计算量减少95%!基于几何的SKS和ACA矩阵分解被提出
东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解,计算量比通用方法减超95%,能减少二维码扫描等应用的计算消耗,有望用于多领域,论文已被IEEE T - PAMI接收。
别再只关注KV Cache了! LLM稀疏性新洞察:为何模型越深越稀疏?UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收,它提出高效推理框架,从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略,设计的UNCOMP框架优化KV Cache,实验效果佳。
FlashAttention-4正式发布:算法流水线大改,矩阵乘法级速度
深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上,注意力机制执行速度接近矩阵乘法。新算法克服瓶颈,在B200上性能提升,还获Pytorch官方支持。
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
香港中文大学10页论文提出新算法RXTX,用于计算矩阵与其转置的乘积XXᵗ。该算法结合机器学习搜索和组合优化技术,能源可节省5%-10%,时间节省5%,对多领域有深远影响。
正交化之外是什么?微软等提出ARO优化器:训练提速1/3,揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文,提出新优化器 ARO。它将梯度旋转作为原则,能让大模型训练提速约 1/3,比 Muon 高效 10% - 15%,还能全模型优化,揭示了矩阵优化新方向。
快手进军AI编程!“模型+工具+平台”一口气放三个大招
AI编程竞争激烈,快手发布AI编程产品矩阵进军该赛道。其“三位一体”矩阵含顶尖自研模型、智能开发工具和MaaS平台,KAT - Coder - Air轻量版免费。各产品亮点多,助力构建AI编程新生态。
【博客转载】Row-Major VS Column-Major
文章探讨行主序和列主序存储多维数组的差异,以及对矩阵乘法性能的影响。指出不同存储顺序组合下矩阵乘法的偏好,还通过C++单线程实现和cuBLAS库验证分析,表明优化可减少性能差距。
OpenAI秘密矩阵曝光!你的所有设备,被Codex连成一台超级电脑
OpenAI将Codex升级为「超级控制平面」,可控制所有安装该应用的桌面设备,将其连成Codex网络。它有远程控制、多机上下文共享等功能,还能在锁屏时工作,但存在安全隐患。