「GPU性能分析」共找到 3176 篇相关文章
AI 时代的洞察方法论:结构化思维与能力迁移
文章以高盛数字化架构设计为例,探讨AI时代技术分析的能力迁移。指出AI使信息采集整合成本降低,技术分析重心从找信息转向构建模型,建模仍是洞察主战场,AI可加速知识铺垫,但模型切换需人类完成。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度,但直接丢层会降低性能。为此提出滑动层合并法,根据相似度阈值融合连续层,简化结构且保持性能。实验显示该方法优于现有技术,还揭示了与宽度修剪结合的潜力。
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
华为韬定律拆解:等效 1.4nm 是真是假,产业格局怎么变
华为半导体业务部总裁何庭波提出韬(τ)定律,引发市场热议。文章从多层面剖析,介绍其核心、与摩尔定律差异,分析技术突破与包装话术,探讨全球产业链影响、国内板块格局及估值,还给出分析框架与观察要点。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
争夺3500亿估值!谁会是真的“中国英伟达”
6月30日,摩尔线程和沐曦同日递交科创板IPO申请,预计未来A股将涌现近10家“中国英伟达”。这轮上市潮源于政策松动,且美国出口管制为国产GPU提供了市场窗口期,但竞争也日趋激烈。目前国产GPU营收与亏损齐飞,未来需构建生态并解决产能问题。
库克清空弹夹!2nm,韬定律,最强AI电脑
库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。
英伟达GPU,将沦为白菜价
硅谷投资大佬Peter Thiel称AI芯片最终会成白菜价。当前英伟达靠垄断赚大钱,但AMD、ASIC、TPU、Trainium等正围剿它,利润将从硬件层转移到应用层,英伟达可能慢慢走下坡路。
阿里最新开源王炸Agent!性能全面SOTA!
阿里WebAgent更新频繁,基本一月一版。它是类似DeepResearch的通用智能体,历经WebWalker到WebWatcher多阶段演进,各阶段解决不同问题,如网页导航、自主信息搜集等,还不断优化训练数据生成与处理方式。