「层间通信」共找到 554 篇相关文章

新闻资讯7

三家中国工博会参展商,在半导体两场革命中改写格局

2025中国工博会首设集成电路展区,超90%为专精特新企业。在CES 2026上,曾参展的中国展商再登场。瑞芯微、新思科技、移远通信携方案突围,参与半导体算力与场景创新两场变革。

芯师爷
产品应用8

帮大模型提速80%,华为拿出昇腾推理杀手锏FlashComm,三招搞定通算瓶颈

在大模型推理通算难题凸显的背景下,华为数学家祭出 FlashComm。它包含三项技术,分别在 AllReduce 通信、以存换传、多流并行方面优化,解决通信瓶颈,提升推理性能,未来还将围绕多方向创新。

机器之心
算法论文7

Megatron 1F1B流水线并行中的负载不均衡问题研究

文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’,原因是最后一个Stage计算慢致不同步,额外计算引发通信延迟,还梳理了流水线各阶段执行过程。

GiantPandaLLM
新闻资讯7

Generalist爆火背后:具身智能真正的竞争,已不在模型

Generalist AI发布的GEN - 1模型引爆具身智能领域,其多项指标出色,预示具身智能竞争从模型层转向基础设施层。行业关注焦点转移,数据正从‘静态数据集’演进为‘动态教育系统’,评测与仿真基础设施成关键。

机器之心
产品应用8

全新 AI 消息模型:Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构?

AIGC浪潮下,大语言模型重塑应用开发范式,开发者构建AI应用面临诸多挑战,需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进,有轻量化通信与智能化资源调度两大创新,还介绍了多场景实践。

InfoQ
推荐文章7

Agent 真正的护城河,正在从工具转向记忆资产

2026年初,Anthropic用Claude Cowork引发AI创业热点,其计划引入知识库获“永久记忆”能力,将Agent Memory探索推到前沿。文章探讨独立Memory层成必需品的原因、工程化记忆系统的能力,还对比模型厂商和第三方中立派路线。

Founder Park
开源动态8

HAMi 2.7.0 重磅发布 | 异构芯片全面拓展,调度更稳、生态更强

Dynamia密瓜智能宣布发布HAMi 2.7.0版,在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片;调度器优化了资源计算和可观测性;应用层与vLLM、Xinference等整合。

InfoQ
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读,详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案,包括Prefill和Decode阶段的优化、通信优化、观测诊断等,并给出了评测结果。

GiantPandaLLM
算法论文8

跨层压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

机器之心
开源动态7

Hermes Agent 发布更新 Herald:实时语音 + Agent 之间可以互相通信了

Hermes Agent 更新到 v0.20.0 代号 Herald,增加实时语音对话与唤醒词,可验证引用来源可信度,集成签名Webhook,支持代理到代理协议,还有性能与安全方面更新,顺应新 Agent 发展趋势。

AI工程化