「硬件优化」共找到 1645 篇相关文章
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
当 Agent 走出 App：WorkBuddy 的朋友圈开始向外生长
9月2日深圳的WorkBuddy生态发布会，展示9款联名硬件，有30多个硬件品牌、30多个Buddy应用、100多个开放平台共创伙伴参与。WorkBuddy开放Agent能力，连接伙伴资源，解决数据和专业经验难题，开放硬件、应用与平台三层，但面临价值分配等问题。
探索 GPU 加速向量检索：NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势，讲述线上化改造、架构演进、CPU/GPU 协同优化等，展示业务落地显著收益。
产学研深度融合样本：高校教授携手昇腾，共筑AI算力生态基石｜甲子光年
本文对话华南理工大学陆璐教授，他有丰富业界经验，回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战，成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。
DeepSeek之后：中国开源人工智能生态的架构选择
自2025年1月“DeepSeek时刻”，中国开源社区有历史性进展，讨论焦点从模型转向架构与硬件选择。技术架构多元，多模态能力扩展，开源许可宽松，小模型走红，本土硬件采用加快。
Lilian Weng：Harness才是模型自我迭代的现实起点和关键，而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出，实现AI递归式自我改进（RSI），设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径，也指出自我改进面临的瓶颈。
猛涨25k star！一键检测你的电脑能跑哪些大模型！
最近 Github 出现工具 `LLMFit`，用 Rust 编写，能自动检测硬件配置，判断大模型能否流畅运行，推荐最优量化版本和运行模式。有一键硬件检测等特性，安装使用方便，降低本地部署门槛。
史诗时刻！AlphaGo神之一手突现，谷歌AI颠覆科研极限？
谷歌DeepMind推出AlphaEvolve，它取得多项数学成果，如改进4x4矩阵乘法、推进六边形填充问题研究等。它能自我进化，还可优化谷歌计算基础设施，预示人类与AI强大协作循环的未来。