「GPU资源消耗」共找到 900 篇相关文章
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库,为终端侧设计,有开箱即用等四大优势。它基于Apache 2.0协议开源,能满足向量检索在多场景需求,相比现有方案功能更全、资源管控强、性能出色,后续还将持续迭代。
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现(v1 和 v2),前者从 vLLM 移植,后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容,还对比了两代差异,并提及相关环境变量。
奥特曼预告ChatGPT新产品!Pro会员也要额外收费,这次不计成本投入算力
OpenAI已花160亿美元租计算资源,还计划未来五年额外支出1000亿租备用服务器。2024 - 2030年将砸3500亿用于服务器租赁,2030年研发投入近收入50%。奥特曼预告未来几周有计算密集型新产品,部分对Pro用户额外收费。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
中美科技博弈下的生存法则
中美科技博弈围绕原创型创新、应用型创新、技术自主与安全、全球影响力构建四大维度展开。中国在部分领域实现局部反超,应用创新优势明显,但在科学前沿仍需追赶。文章还探讨了半导体、能源资源等方面的挑战与策略。
小模型大作为!微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来,“参数越大,能力越强”成行业共识,但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本,在多项测试中超越头部大模型,还提出SSP框架和MGPO算法。
Sora 模糊视频有救了!强大的免费开源AI视频处理工具!硬件要求低!
Video2X-QT6是免费开源AI视频处理工具,支持视频超清放大、补帧,兼容CPU和GPU,低配置电脑也能用。6.0.0版本用C/C++重写,速度快、跨平台,还能处理图片。介绍了不同系统安装方法等。
读万卷书,大模型就能「看」懂视觉世界?Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现,只见过文本的大语言模型(LLM)能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时,揭开LLM视觉先验来源,还给出预训练数据配方。
高通祭出全球最快移动SoC!卢伟冰携全球首发小米17Pro现身
2025骁龙峰会·中国会场,高通推出第五代骁龙8至尊版移动平台,采用台积电3nm制程。小米17系列将全球首发,多家厂商也会搭载。该芯片在CPU、GPU、NPU等多维度性能提升,还在影像、音频和通信方面有飞跃。