「算力性能」共找到 2640 篇相关文章
o3崛起,但推理模型离「撞墙」只剩一年?
OpenAI的o3推理模型诞生不到一年能力突飞猛进,算力暴增10倍。但Epoch AI等警告,最多一年推理模型或撞上算力资源极限。还从其他模型和业内人士看法分析推理算力,指出算力与性能有关联,也有发展瓶颈。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。
Meta 即将上线全球最大算力集群
小扎在算力投入上毫不手软,Meta 即将上线全球首个 1GW+ 能耗的超级计算机机群,还在新建 Hyperion 算力集群,几年内功耗将达 5GW,远超老马 30 万张卡集群的 200 - 300 兆瓦。
国产算力正在进入Token标准化时代
2026年6月17日,是石科技攒局国产异构算力创新发展论坛。其创始人闫博文认为国产算力瓶颈在工程化转化能力。是石科技正将异构算力转化为标准化Token生产能力,还启动B轮融资。
前谷歌研究员发文:算力崇拜时代该结束了
前谷歌大脑研究员 Sara Hooker 发文指出,过去十年 AI 创新依赖算力,但如今持续扩展训练计算资源效率极低,收益递减。她探讨了影响算力回报率的因素,批判 Scaling Law,并提出未来创新方向。
从芯片到集群:启邦泽益的推理算力性价比突围
本文整理自启邦泽益联席CEO马冠华在2026芯算力创新峰会上的演讲,针对大模型推理爆发、算力成本高企的行业痛点,介绍启邦泽益从芯片到集群的全栈高性价比推理算力方案。
Meta 开源 Pyrefly,Rust 中的高性能 Python 类型检查器
Meta 开源处于 alpha 阶段的 Pyrefly,它是用 Rust 编写的高性能 Python 类型检查器,灵感源于 Pyre 等工具,旨在取代 Instagram 代码库的 Pyre。它性能出色,还计划今年夏天进 beta 阶段。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题,因错误使用`c10::Float8_e4m3fn`数据类型,未用硬件加速指令,通过软件调用致性能下降,现已修复,vLLM也应用此修复。
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。
浅析 Amazon S3 Files:工作机制、性能边界与选型思路
4月7日,AWS发布新服务Amazon S3 Files,可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界,与其他对象存储文件化方案对比,指出适用场景。