层间通信」共找到 538 篇相关文章

算法论文7

Megatron 1F1B流水线并行中的负载不均衡问题研究

文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信‘一短一长’,原因是最后一个Stage计算慢致不同步,额外计算引发通信延迟,还梳理了流水线各阶段执行过程。

GiantPandaLLM
新闻资讯7

Generalist爆火背后:具身智能真正的竞争,已不在模型

Generalist AI发布的GEN - 1模型引爆具身智能领域,其多项指标出色,预示具身智能竞争从模型转向基础设施。行业关注焦点转移,数据正从‘静态数据集’演进为‘动态教育系统’,评测与仿真基础设施成关键。

机器之心
产品应用8

全新 AI 消息模型:Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构?

AIGC浪潮下,大语言模型重塑应用开发范式,开发者构建AI应用面临诸多挑战,需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进,有轻量化通信与智能化资源调度两大创新,还介绍了多场景实践。

InfoQ
推荐文章7

Agent 真正的护城河,正在从工具转向记忆资产

2026年初,Anthropic用Claude Cowork引发AI创业热点,其计划引入知识库获“永久记忆”能力,将Agent Memory探索推到前沿。文章探讨独立Memory成必需品的原因、工程化记忆系统的能力,还对比模型厂商和第三方中立派路线。

Founder Park
开源动态8

HAMi 2.7.0 重磅发布 | 异构芯片全面拓展,调度更稳、生态更强

Dynamia密瓜智能宣布发布HAMi 2.7.0版,在硬件生态、调度器、应用生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片;调度器优化了资源计算和可观测性;应用与vLLM、Xinference等整合。

InfoQ
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读,详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案,包括Prefill和Decode阶段的优化、通信优化、观测诊断等,并给出了评测结果。

GiantPandaLLM
算法论文8

压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

机器之心
开源动态7

Hermes Agent 发布更新 Herald:实时语音 + Agent 之可以互相通信

Hermes Agent 更新到 v0.20.0 代号 Herald,增加实时语音对话与唤醒词,可验证引用来源可信度,集成签名Webhook,支持代理到代理协议,还有性能与安全方面更新,顺应新 Agent 发展趋势。

AI工程化
产品应用8

MiniMax M3 实测:第一流的模型,已经对执行动手了

文章对 MiniMax M3 模型进行多维度实测。它强化 Coding 与 Agent 能力,能完成长任务,与 Sonnet 4.6 竞技各有优势,多模态能力强,价格有竞争力,MiniMax Code 意在争夺开发者工作流入口。

AI科技评论
新闻资讯8

沈亦晨的九年:从MIT一实验室到港交所大堂

2026年4月28日,曦智科技在港交所敲钟,股价表现亮眼。创始人沈亦晨从MIT实验室起步,带领公司历经九年发展,在光计算和光互连领域取得诸多成果,虽亏损但受市场热捧,光计算产业也吸引大厂入局。

DeepTech深科技