「量化内核」共找到 278 篇相关文章
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
内核级的真相：为什么 eBPF 正在取代基于用户空间的 Agent 成为安全可观测性的首选
文章指出基于用户空间的安全 Agent 存在与威胁同权限层级、CPU 成本高、易被攻击等问题。eBPF 能在 Linux 内核运行受沙箱保护程序，可降成本、增可见性。上线应分阶段，还介绍工具及部署安全措施。
斯坦福意外用AI生成超强CUDA内核，性能比人类专家优化得还要好！翻倍碾压原生PyTorch，华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的，在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码，还使用多分支探索模式。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
4倍无损压缩Diffusion，6倍加速！仅需时间特征维护 | TPAMI'25
扩散模型时间特征对量化敏感，现有量化方法会致其扰动，影响图像质量。港科大等多校团队提出TFMQ - DM框架，优化时间特征相关模块，提升低比特量化性能，实现硬件加速。
信息熵之后，清华提出状态熵！量化分析「系统智能性」的全新视角
清华大学科研团队从自治系统的演化动力学出发，提出状态熵概念，分析其与系统聚合度关系，为系统智能性度量提供新视角。论文给出状态熵统一定义及演化解析表达式，还在典型系统上分析其演化规律。
直播预约 | LightMem：面向大模型的轻量化可插拔记忆系统
本报告聚焦大语言模型长期记忆构建与轻量化机制。现有外部记忆系统有记忆臃肿、组织低效、更新代价高问题。为此提出LightMem架构，能为大模型提供轻量、高效、可扩展记忆组件。
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。