「矩阵存储」共找到 273 篇相关文章
刚刚，奥特曼亲赴，韩国「举国」投靠！
奥特曼飞赴首尔与韩国总统、两大财阀巨头会晤，三星、SK与OpenAI达成战略合作伙伴关系，将增加先进存储芯片供应、扩大数据中心容量，助力韩国AI发展，也加速Stargate计划落地。
从概念到生产级部署：AWS如何破解Agentic AI落地难题？
红杉美国合伙人预测2025年是AI agent元年，但此前Agentic AI落地难。AWS在纽约峰会推出系列产品，如Amazon Bedrock AgentCore等，完成从存储到市场的升级，有望推动企业构建Agentic AI。
盐城芯片大佬，静待两个千亿IPO
芯片大佬朱一明即将迎来高光时刻，1月13日其控制的兆易创新将登陆港交所，长鑫也递交了招股书。存储芯片行业需求旺盛、价格上涨，朱一明想把兆易创新做成中国的“三星半导体”。
CUTLASS CuTe GEMM细节分析（一）——ldmatrix的选择
作者作为CUTLASS CuTe初学者，记录问题分析过程。本文聚焦如何基于TiledMMA及输入矩阵在Shared Memory上的Layout选合适Copy Operation完成拷贝，结合实例讲解ldmatrix指令选择，还给出参考代码。
【CUDA博客】关于TensorCore和Inline PTX Assembly的一个超简短笔记
文章围绕TensorCore和Inline PTX Assembly展开，介绍利用PTX指令发挥TensorCore潜力。讲述矩阵乘法和累加操作，给出半精度及替代浮点指令形式，有代码示例并分析，还提到不同数据类型用法及SASS指令。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针
文章从CUDA基础讲起，以矩阵乘法为例介绍性能调优，再到PTX汇编知识，最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进，提供新分析视角。
颠覆传统向量数据库，直接将文本数据编码成视频文件，轻量级革命性的大规模AI记忆解决方案Memvid
Memvid将文本数据编码为视频，改变AI记忆管理，实现百万级文本块闪电语义搜索和亚秒级检索。它存储高效、轻量级、可离线，应用场景广，还给出安装、使用、配置等说明，并与传统方案对比。