「实际开销」共找到 316 篇相关文章
关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能
文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。
GenAI 退烧后,这家企业正在用 “数据平台” 重构AI2B的底层逻辑
GenAI浪潮下,企业级AI落地难。矩阵起源举办新品发布会,其CEO王龙指出落地瓶颈已从大模型转向私域数据。该司推出MatrixOne和MatrixOne Intelligence,构建“数据智能飞轮”,MOI三层架构可打通数据到业务落地流程,还通过案例展现其解决实际痛点能力。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
御三家都在押注的 Loops,代码怎么还是垃圾?
在AIE World's Fair大会的《伟大的Loops》辩论赛上,正反方就Loops展开激烈交锋。正方认为Loops配得上热度,是迈向软件工厂关键一步;反方则指出其炒作与实际效果差距大,当前做法有误。双方还探讨了安全性、可用性、开销等问题。
3.4K星Apple出品FastVLM:视觉TTFT效率提升85倍,凭啥这么牛!
文章指出VLM在实际生产应用中因高分辨率图像存在效率问题,介绍Apple出品的FastVLM解决方案,阐述其架构、训练过程,展示在多个基准测试的性能,凸显在高分辨率输入下提升效率的优势及实际应用价值。
第 2 章 主流 Agent 模式深度解析
文章深度解析主流 Agent 模式,用生活化类比介绍了 ReAct、Plan - and - Execute、Tool Use、Reflection / Self - Critique 四种模式,阐述其技术要点、优缺点及适用场景,还对多模式进行对比。
Claude Opus 5.5 浪费 token?这 4 步拦住它
本文分享网友总结的实用优化方法,针对Claude Opus 5.5浪费token的问题,给出4个可落地步骤,帮助降低大模型调用成本
库克送礼,老黄放贷,马斯克画饼:2025科技圈的「生存三部曲」
2025年科技圈幻梦破碎,库克礼物暗示AI幻梦与商业博弈。Cursor与Waymo崛起,英伟达靠“赊账”维持,特斯拉下滑,马斯克兜售远景,科技IPO多数破发,市场更重利润。
微软公开预览可充当 MCP 服务器的 Logic Apps
微软宣布 Azure Logic Apps(标准版)公开预览新功能,可充当 MCP 服务器,为开发者构建和管理代理提供灵活方式。MCP 是开放标准,让 LLM、AI 代理等与外部系统交互,此功能好处多。
超长推理还能节省计算!Salesforce开源神器两连发:教大模型边想边省,显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分,分配token预算,使输出缩短、准确性提高;后者打碎推理链条,从三维度采样,以更少tokens换更高准确率,均提升数学和编程任务准确率。