「冲突量化」共找到 280 篇相关文章
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
警报拉满，10k star , QuantDinger，赚钱可能就是这么简单！！！！
量化交易常存在研究、策略、回测和实盘间“失忆”问题。QuantDinger将量化流程形成闭环，是Open - source AI Trading OS，有研究、策略管理等四大核心能力，介绍了使用方法、适用人群。
16岁炒马斯克鱿鱼，SpaceX天才转投北大数学校友赵鹏麾下
16岁天才Kairan Quazi从SpaceX离职，入职全球顶尖量化交易公司Citadel Securities。他曾14岁毕业于圣克拉拉大学，被马斯克选中加入SpaceX。他表示量化金融反馈快、结果直观，且新公司欣赏他的非传统背景。
京东发布业界首个/开源/高完成度/轻量化「通用AI智能体产品」。
京东跨界推出业界首个开源高完成度轻量化通用智能体产品JoyAgent - JDGenie。它开箱即用、轻量可自部署，内置多种子智能体与工具，还给出二次开发示例，有多层次多模式思维等创新点。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记，解释接口和约束、kernel 关键路径等问题，还介绍 NVFP4 和 MX-Formats 量化原理、代码实现，以及 LightX2V 项目中的实际使用。
AI 本地跑？Google 新开源模型上线，本地量化后占用不到 200MB 内存，支持百余语言
Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。