「__nv_fp8_e4m3」共找到 74 篇相关文章
开源动态8
阿里Qwen又悄悄放出8个开源权重,卷疯了~
阿里通义千问太卷,悄悄放出8个开源模型权重,包括体积更小的Qwen3-VL及FP8权重。这一代实现全方位升级,提供两种架构、两个版本,架构也有更新,还给出使用示例与模型权重链接。
PaperAgent
开源动态8
流式数据集:效率提升 100 倍!
现在只需一行代码,就能通过 `load_dataset('dataset', streaming=True)` 以流式方式加载数据集,无需下载。Hugging Face 优化后端,提升流式数据集速度与效率,减少请求、提升解析速度,还优化启动和流式加载阶段。
Hugging Face
推荐文章7
关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能
文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。
GiantPandaLLM
推荐文章7
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
阿里云开发者