「张量」共找到 16 篇相关文章
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
OpenAI久违发了篇「正经」论文：线性布局实现高效张量计算
OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。
Token售卖已无溢价、大模型公司转型“系统商”？记忆张量 CTO 李志宇：智能体能力会拉开差距，长期记忆与状态管理成竞争核心
InfoQ 采访记忆张量 CTO 李志宇，他指出 Scaling up 经济效益下降，大模型公司正变系统公司，核心是长期记忆与状态管理能力。2026 年若模型无代际差，价格战或加剧。智能体是主赛道，但现有模型推理能力不足。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
CuteDSL-2: 基本操作
文章为Cute - DSL第二篇，整理官方notebook介绍基本操作。涵盖数据类型、张量、结构体等基本操作，还介绍了控制流（For、If - Else、While循环等）及TensorSSA的相关操作，如LD/ST、运算、切片等。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。
视频世界模型困在像素网格里：腾讯开源SCoPE，用射线空间重写位置关系
香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。