「内核延迟」共找到 291 篇相关文章
分钟级定位 IO 瓶颈:多租户云环境下的智能诊断
随着云上规模扩张,多租户云环境下 IO 请求量剧增,IO 问题排查难。阿里云操作系统控制台构建 IO 一键诊断能力,能快速识别问题类型、把握诊断时机、屏蔽复杂关联流程,还介绍了实现原理和案例。
全球首个具身智能开放平台来了!让大模型长出“身体”,像人一样自然表达交互
魔珐科技发布全球首个具身智能3D数字人开放平台魔珐星云,能让大模型‘长出身体’,实现自然表达交互。该平台突破了‘高质量、低延迟、高并发/低成本’的不可能三角,还可驱动虚拟和真实具身。
斯坦福&SambaNova联手发布ACE框架:上下文即战力
文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷,将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环,实现上下文低成本、低延迟、高扩展演化,小模型搭配它能击败大模型+传统提示。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。
华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍
新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读,聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案,分析在Blackwell上做GEMM + AllReduce融合算子的优势,介绍multimem指令等,还提及接入模型执行路径和性能结果。
用「传心术」替代「对话」,清华大学联合无问芯穹、港中文等机构提出Cache-to-Cache模型通信新范式
随着大语言模型发展,多智能体系统中现有T2T交流方式有信息丢失、语义模糊、延迟大问题。清华等团队提出C2C信息传递方式,以KV - Cache为媒介,提升了正确率和速度,还介绍了实现路径、优势及应用前景。
Luma Uni-1.1 API开放,图像模型榜单第三,文字渲染直逼GPT image 2
今年图像生成模型迭代快,海外AI初创公司Luma将统一图像模型Uni - 1升级到1.1版并开放API。它在榜单排名前三,价格与延迟低,有诸多品牌客户接入。展示了多场景应用效果,技术路线独特,定价有优势。
火山引擎 veFuser:面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破,但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架,能在图片和视频生成上实现低延迟、低成本的高质量体验,且未来会持续迭代。
OpenAI「辣椒芯」干翻英伟达!老黄股价不跌反涨
OpenAI自研芯片「小辣椒」跑分碾压英伟达最强blackwell,低延迟、高吞吐、低并发等全达SOTA级别。但英伟达股价未跌反涨,OpenAI也表态不会弃用英伟达。「小辣椒」预计2027年量产,OpenAI还将开发后续版本,不过其数据中心负责人离职,无人接手。