「GPU优化」共找到 1614 篇相关文章
刚刚,1122人干出“国产GPU”第一股,摩尔线程成功IPO:开盘股价疯涨,市值破2800亿!专家:国产AI芯片商业化进入关键期
今天摩尔线程在科创板挂牌上市,募资 80 亿用于核心产品研发。其团队技术强,研发投入高但仍亏损,预计 2027 年盈利。产品迭代快,不过与国际龙头有差距,专家认为国产 GPU 商业化关键在软件生态。
Meta详细阐述基于LLM级训练、混合并行计算与知识迁移的GEM广告模型
Meta发布生成式广告模型GEM详细信息,旨在改善平台广告推荐能力。它处理海量用户 - 广告交互数据,用三种方法构建系统,还实施GPU级优化,采用两种知识迁移策略,获业内人士认可。
破解300年数学难题,智能体大突破!谷歌发布超强AI Agent
今天凌晨谷歌Deepmind发布编程AI Agent——AlphaEvolve,它与Gemini深度集成,能评估算法。它解决了300多年的数学难题,还提出新算法,提升大模型计算效率,可优化GPU指令,架构含多模块。
AI+直播的新玩法! StreamDiffusionV2让创意零延迟
生成模型改变直播行业,但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2,通过智能调度和缓存机制优化,支持多GPU并行,可灵活调画质和延迟,实现实时直播。
142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
SGLang支持GPT-OSS:从Day 0支持到性能增强
SGLang宣布重大更新,聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升,支持多GPU,有推测解码等功能,还支持智能体应用程序,且不损害模型推理能力。
Life of a Token:像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel,追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例,详细讲解其管线各阶段,如 Tokenization、Embedding 等,还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
微软机房大量英伟达GPU开始吃灰……
微软CEO纳德拉承认,因缺电、缺机房空间,大量英伟达AI芯片闲置。这不仅是微软烦恼,也是大模型巨头共同问题。奥特曼称行业挑战在能源与基础设施匹配,算力企业也在调整策略。
ASO是什么意思?ASO目标与工作内容,ASO常见误区(基础篇)
ASO(应用商店优化)的精髓在于通过对产品特性的分析与用户群体标签的判断,挑选相关度高的关键词,提升App的覆盖、曝光、转化,从而获取更多用户。它不仅包括关键词搜索排名优化,还涉及榜单排名、转化率、推荐位等优化,提升App在应用商店的自然下载量。
ETT:打破原生多模态学习视觉瓶颈,重塑视觉tokenizer优化范式
本文由多机构联合完成,针对传统视觉 tokenization 方法优化与下游任务训练割裂问题,提出 ETT 调优方法。它实现联合优化,在多模态理解、生成、重构任务表现出色,虽有局限但带来新突破。