「通信延迟」共找到 321 篇相关文章
AI 互动游戏的 GPT 时刻到了！谷歌Genie 3首测！太牛了！
谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。
10级漏洞刚补完，React又炸了！现代Web“默认底座”因一行代码缺失引发全球地震，开发者经历最黑暗一周
12月12日，React官方确认RSC里有两处新漏洞。此前React2Shell漏洞危害大，超两百万台服务器有风险，开发者服务器被入侵挖矿。该漏洞因核心通信机制缺一行校验代码，Vercel等平台受波及。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
解密 Cursor：一位深度用户的原理探析与实验验证
文章作者作为 Cursor 付费用户，通过实验分析其与大模型通信机制和设计原理。用 OpenAI 的`gpt - 4o`模型做实验，发现它是‘基模 + 若干工具’组合，也指出在真实项目因上下文不足表现不佳。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。