「通信开销」共找到 203 篇相关文章
突破Agent长程推理效率瓶颈!MIT&新加坡国立联合推出强化学习新训练方法
AI Agent处理复杂任务时显存、算力问题凸显,MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习,让智能体学会管理记忆,实现近似常量级显存开销,在多方面表现超越大模型。
MoE推理「王炸」组合:昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中,MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型,经多方面优化,推理性能提升6 - 8倍。还采用多种策略和算法,在昇腾不同平台展现卓越性能,为大模型落地提供支撑。
吴恩达对谈LangChain创始人:企业构建Agen系统的核心认知!
吴恩达与LangChain联合创始人Harrison Chase深度对话,点明构建Agent系统关键要点,如关注系统‘Agentic’、解决构建核心挑战、模块化构建等,还提及被低估领域、MCP问题及AI创业制胜之道。
腾讯助力Deepseek完善DeepEP,RoCE提升100%,InfiniBand提升30%
Deepseek团队合并腾讯提交的代码完善DeepEP,称有巨大速度提升,RoCE提升100%,InfiniBand提升30%。DeepEP是为混合专家模型和专家并行设计的通信库,有多项创新特性,适合现代AI应用。
为什么算力追赶这么难?前谷歌架构师现场黑板推演底层架构,看懂芯片底层逻辑里被忽视的“空间博弈”
前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起,推导芯片架构,指出芯片大部分成本花在搬运数据上,还探讨乘加运算、脉动阵列等原理,以及时钟周期、FPGA与ASIC差异等内容。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
向量数据库开创者 Pinecone 宣布 RAG 时代结束,推出面向 Agent 的知识引擎 Nexus。它认为当前 RAG 模式脆弱、缓慢且昂贵,提出“知识编译”概念,称能提升任务完成率、降低 token 开销,虽面临质疑,但方向明显。
Agent/Skills/Teams 架构演进过程及技术选型之道
文章结合作者实践与多篇论文,梳理Agent架构从单点提示词调用到Agent Teams的演进逻辑,分析Single Agent、Multi - Agent、Agent Skills、Agent Teams的优劣,给出架构选型建议,强调架构应与问题复杂度匹配。
跳过88%专家,保住97%性能!MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模,MoE架构虽降低计算开销,但推理成本仍高。香港科技大学等团队提出MoDES,它是training - free动态专家跳过框架,能跳过88%专家还保留97%性能,推理速度提升2倍。
清华联手千问重塑归一化范式,让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式,但面临权衡取舍。近日,清华黄高团队联合千问团队提出SiameseNorm,构建参数共享的平行通路,实现稳定训练并提升性能。
Airbnb 的 Mussel V2:下一代的键值存储,以统一流和批处理
Airbnb工程团队推出Mussel v2,对内部键值引擎彻底重构,统一流和批处理,简化运维、扩展工作负载。它结合NewSQL后端与Kubernetes控制平面,解决了v1的局限,迁移虽有挑战但成功完成。