「注意力算子库」共找到 501 篇相关文章
黄仁勋 GTC 2026 演讲实录：所有SaaS公司都将消失；Token成本全球最低；“龙虾”创造了历史；Feynman 架构已在路上
北京时间2026年3月17日，英伟达CEO黄仁勋在GTC演讲，展示AI“全家桶”。他回溯CUDA 20年，介绍数据处理新软件库，还提及AI原生企业爆发、Token成本优势、Vera Rubin平台等，强调英伟达在AI领域的全面布局。
DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均
昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。
LeRobot v0.5.0 正式发布
LeRobot v0.5.0正式发布，是规模最大的一次发布。在硬件上支持更多机器人，策略模型新增6种，数据集处理优化，还推出EnvHub，代码库也全面升级，此外社区与生态建设也有进展。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
知名产品工程师开源「一整套编程skill」，每个人都能有顶级的工程习惯
现在用AI写代码存在效率低、浪费token等问题，知名开发者tw93发起开源AI编程skill库Waza，将顶尖工程师习惯转化为Claude Code可运行技能，推出8实用技能，还提供两个小脚本。
Harness 工程就是控制论
文章指出OpenAI的Harness工程模式与瓦特离心式调速器、Kubernetes类似，都遵循控制论。代码库此前反馈回路在低层面，大语言模型改变现状，但需校准传感器和执行器，忽视工程实践代价会变得无法承受。
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。
60秒极限挑战！中国GPU独角兽杀出重围，斩获图形顶会大奖
2025年12月，SIGGRAPH Asia 2025在香港开幕，摩尔线程在3DGS重建挑战赛中凭自研技术LiteGS斩获银奖。该团队还开源3DGS基础库LiteGS，实现全链路协同优化，提升训练效率与重建质量。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。