「GPU优化」共找到 1614 篇相关文章
突发!美国解除封锁,英伟达可向中国销售H20 AI芯片
CNBC消息,美国政府向英伟达保证授予销售许可,将恢复对中国销售H20 AI芯片。此前该芯片受出口管制。黄仁勋加大游说,与特朗普会面后美态度转变,他还宣布新GPU,英伟达财报表现强劲。
LangChain官方实测:多智能体架构怎么选?
构建AI Agent时,单智能体应对复杂场景易“变笨”且难维护。LangChain官方评测主流多智能体架构,在复杂零售场景实验,对比单智能体、Swarm、Supervisor架构的性能、成本,还给出优化Supervisor架构的方法。
千人千面的真人级AI名师,劈开教育「不可能三角」
与爱为舞推出的AI导师能个性化教学,服务百万用户。其用「模型+语音+工程」铸造技术巨剑。经训练,AI可驾驭课堂,再经自研语音模型实现交互,通过链路优化等实现规模化落地,践行「全员皆超级个体」理念。
本地运行、支持视觉与工具调用:Meta 开源智能体模型
Meta AI Research 推出 300 亿参数的开放权重模型 Muse Glimmer,采用 Apache 2.0 许可证。它专为本地工作流设计,能在消费级硬件运行,经多项优化,在基准评估中表现出色,还支持多种框架。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算,发现ncu对L20 GPU上特定指令用错误执行延迟算指标,导致异常,还给出GEMM Kernel性能分析建议。
【万字长文】Anthropic发布Prompt Engineering全新指南
Anthropic发布全新Prompt Engineering指南,涵盖元提示、模板等关键技术。介绍了prompt类型、必备要素,还给出优化技巧,如添加示例、思维链精炼等,涉及XML标签、链式提示等方法,也提及减少幻觉、提高一致性等内容。
SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案
文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA,专为机器人领域设计,可在消费级硬件运行。它用公开数据集训练,架构经优化,还引入异步推理堆栈,性能超部分大模型,降低研究门槛。
华为| 祭出FlashComm1,FlashComm2、FlashComm3,解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下,华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信,提升推理性能;FlashComm 2重构计算流程,提升推理速度;FlashComm 3实现多流并行,激增模型吞吐。
DSpark推理速度提升80%后,OpenAI宣布新方法将推理成本降低了一半
近日,OpenAI 工程师开发优化技术,将模型推理成本降一半。业内猜测或基于公开成果,也有人认为是模型量化。此前 DeepSeek 推出 DSpark,使 V4 模型推理速度提升 60%-85%,还引入峰谷定价机制。
英特尔「亲爹」要买干儿子?CEO陈立武的双重身份藏不住了
英特尔考虑拿下SambaNova,现任CEO陈立武还是SambaNova执行董事长。英特尔此前GPU发展滞后,此次是重新发力AI芯片赛道。SambaNova曾想融资,若被收购估值或缩水,其目标是挑战英伟达。