「稀疏注意力优化」共找到 1447 篇相关文章
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
Python语言从2.7到3.14的能力变化与演进逻辑
文章从编程风格、类库生态、性能优化等多维度，阐述Python从2.7到3.14版本的能力变化与演进逻辑。如编程风格现现代化转型，类库生态战略性调整，性能优化有突破性进展等，还分析了演进背后的推动力及未来趋势。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
半导体材料巨头涨价“突袭”！涨幅高达30%！
日本半导体材料巨头Resonac宣布，对覆铜层压板与黏合胶片全系列产品提价超30%，2026年3月1日生效。调价受原材料紧张、成本上升等因素驱动，其看好市场前景，此次调价或影响下游产业。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个Github开源项目。如htmx，能在纯HTML搞定多种交互，无需JS；Flow.Launcher可快速搜索文件、启动应用；Maple Mono是编程字体，中英2:1对齐；Trilium Notes是分层笔记神器；Hyprnote可实时转录会议内容。
清华推出AI数学家！独立完成数学理论难题，自动调用基本定理、构建证明思路
清华团队推出AI Mathematician（AIM）框架，可将LRMs推理能力延伸至前沿数学研究。它由三大模块驱动，有两大核心策略。实验显示其能解决多个挑战性问题，虽有不足，但未来有望成数学研究核心驱动力。
国产GPU组了个开源局，把SGLang等核心开发者都摇来了！
国产GPU玩家摩尔线程举办SGLang × MUSA Meetup，邀请众多开源圈开发者。活动探讨如何让国产GPU进入大模型推理主流开源工程链路，显示国产GPU竞争迈向生态坐标之争。
手机跑多模态也能快到飞起！面壁MiniCPM-V 4.6开源
面壁智能开源多模态模型MiniCPM-V 4.6，以低算力成本、超低首Token延迟打通三大主流手机操作系统。它算力瘦身性能强，是视觉语言多面手，还适配主流系统，降本增效，让AI能力从云端到指尖。
Pinterest 部署生产级模型上下文协议生态系统，赋能 AI 智能体工作流
Pinterest 工程团队搭建内部模型上下文协议（MCP）生态系统，驱动 AI 智能体，实现工程任务自动化。架构上线生产级服务器等，替换零散对接方式，让语言模型调用工具、访问数据，还能执行多种任务。