「复制延迟」共找到 318 篇相关文章

算法论文7

Megatron 1F1B流水线并行中的负载不均衡问题研究

文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’,原因是最后一个Stage计算慢致不同步,额外计算引发通信延迟,还梳理了流水线各阶段执行过程。

GiantPandaLLM
推荐文章8

Anthropic 的 Harness 哲学:把 Agent 当牲口,而非宠物

本文分享Anthropic最新两篇博客,介绍其将运维圈“宠物 vs 牲口”哲学用于AI Agent架构设计。旧架构如“宠物”易出问题,新架构脑手分离,把Harness做成可随时重启的“牲口”,降低延迟、提升安全,还提出信任框架。

AGI Hunt
推荐文章7

当AI无所不能,你如何不可替代?

硅谷裁员潮,AI 普及让职场人焦虑被替代。《太稳不太稳》直播中,万维钢与霍太稳探讨人类核心竞争力,指出人类主动性等是 AI 无法复制的价值,还给出各职业应对建议及用 AI 提效方法。

AI前线
推荐文章7

通过查看GPU Assembly分析CUDA程序

文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例,对比普通和向量化版本,通过查看SASS代码,解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。

GiantPandaLLM
新闻资讯7

Claude 最歧视的,是印度阿三

AI研究员Aran Komatsuzaki实验发现,Claude的tokenizer对非英语用户不友好,印地语用户消耗token是英语的3.24倍,带来高成本、高延迟等问题。不同模型对不同语言token处理有差异,市场份额影响token效率。

AGI Hunt
新闻资讯7

Telegram创始人搞了个狠活:100%隐私的去中心化AI网络

Telegram创始人帕维尔·杜罗夫推出专注机密AI计算的去中心化网络Cocoon,或终结中间商垄断。它基于TON区块链,有三层架构,四步完成AI查询,但面临延迟和竞争挑战,未来将采用DAO治理。

AI工程化
推荐文章7

一文读懂:GPU到底是怎么工作的?

文章详细介绍GPU工作原理,对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题,还分析FLOPS、延迟、内存等因素对性能的影响,最后讲了GPU通过多线程和超量订阅获高吞吐量。

芯师爷
产品应用8

马斯克AI女友直播「一秒变身」,Karpathy看完立刻投钱

世界首个支持直播推流的「实时」扩散AI视频模型MirageLSD诞生,大神Karpathy亲自站台。它能理解真实视频后同步生成AI视频,实现零延迟、无限时长、每秒24帧不卡顿,给视频娱乐和直播互动带来丰富想象。

新智元
新闻资讯8

突发!OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达

OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。

机器之心
开源动态7

原力灵机发布Realtime-VLA V2:从遥操作到真实部署,VLA提速的系统解法

原力灵机发布《Realtime - VLA V2》技术报告,在VLA控制下让机器人快速运动。实现数倍于遥操作采集训练数据的速度执行VLA,解决了遥操作数据采集、时序延迟等问题,还通过“油门式采集”提升速度,但离人类性能仍有差距。

AI科技大本营