「通信延迟」共找到 306 篇相关文章
一种用于管理 AI 变革步伐的演进式架构模式
Cloudflare推出基于QuePaxa共识算法的Meerkat服务，可无领导者写入并保持强一致性，提高网络可用性。它预计将是QuePaxa全球首次生产部署，但存在局限性，如大量往返通信。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
Cloudflare 推出 Meerkat，实现全球强一致性协调
Cloudflare推出基于QuePaxa共识算法的Meerkat服务，可无领导者写入并保持强一致性，提升网络可用性。虽有往返通信代价且非通用数据系统，但优化对强一致性系统重要，还未投入生产。
刚刚，图灵奖2025公布，荣誉属于两位量子信息科学奠基人
美国计算机学会宣布2025年图灵奖授予Charles H. Bennett与Gilles Brassard，表彰他们奠定量子信息科学基础、变革安全通信与计算。他们提出BB84协议，还推动量子隐形传态等研究，影响众多领域。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
华为CloudMatrix重磅论文披露AI数据中心新范式，推理效率超NV H100
华为发布60页重磅论文，提出下一代AI数据中心架构Huawei CloudMatrix及产品CloudMatrix384。它架构设计独特，性能高效准确灵活，打破算力、延迟和成本“不可能三角”，重新定义AI基础设施。
英伟达开源上瘾了！推出了一款实时语音智能体的终极 ASR：24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。
LinkedIn 重构服务发现：在大规模环境中用 Kafka 和 xDS 取代 Zookeeper
LinkedIn 工程博客中，Bohan Yang 介绍升级基于 ZooKeeper 的传统服务发现平台项目。因传统系统有扩展性问题，团队开发新架构，分离读写路径，实施双读双写机制，迁移后数据传播延迟显著改善。