「端侧计算」共找到 795 篇相关文章
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
英伟达联手QCI搞大事：量子应用能在真机前先模拟纠错
量子电路（QCI）公司联合NVIDIA，将CUDA - Q编程能力集成到Aqumen软件套件。QCI的双轨量子比特设计易纠错，有检测、控制流、处理错误三大功能。二者结合能让开发者在真机前模拟纠错，加速量子计算商业化。
世界首富换人！81岁硅谷狂人4000亿身价碾压马斯克，33岁华裔才女逆袭
昨晚科技圈炸锅，甲骨文创始人Larry Ellison净资产暴增超1000亿，以3930亿美元身价超越马斯克成世界首富。甲骨文云计算收入占比近半，OpenAI将未来五年花3000亿买其算力。
国产AI首次「长出」原生记忆，非Transformer架构成新王！机器狗当场引爆WAIC
WAIC世界人工智能大会上，国产黑马RockAI的大模型Yan 2.0 Preview亮相，可多终端无损部署。它基于非Transformer架构，训练效率高，有原生记忆，实现端侧AI，展现出自主学习和多模态能力，引发关注。
突发！Jason wei也被小扎挖走了
Jason wei是OpenAI研究科学家，是思维链、强化学习研究重要推动者，2023年2月加入OpenAI，此前在谷歌大脑工作。他和HYUNG Won Chung一同被小扎挖走，二人是o系列模型及测试时间计算重要推动者。
普林斯顿大学等Nature揭秘：人类大脑与大语言模型共享同一套语言处理时钟
普林斯顿大学等机构研究发现，大语言模型层级计算序列精确映射人类大脑处理语言的毫秒级时间动态，其与人类大脑理解语言的先后顺序高度一致，为理解大脑和开发神经网络架构开辟途径。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
机器狗翻了个身，国产GPU往前走了坚实一步｜甲子光年
5月18日摩尔线程发布会上，机器狗“小飞”侧空翻，是业内首次基于国产硬件仿真平台训练、国产端侧芯片部署并真机验证。该司以全功能GPU打造国产具身智能基础设施，MT Lambda平台解决多方面问题。
斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law
斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能，揭示动作误差与采样数量幂律关系，还探讨关键问题，给出方法，实验证明结合RoboMonkey能显著提升性能。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。