「分布式推理系统」共找到 3603 篇相关文章
刚刚,大模型棋王诞生!40轮血战,OpenAI o3豪夺第一,人类大师地位不保?
国际象棋积分赛成果出炉,OpenAI o3以人类等效Elo 1685分夺冠,Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜,评估模型战略推理等能力,还推出相关数据集,虽有局限但意义重大。
清华退休教授余志平谈国产EDA发展之路
余志平教授全程参与“熊猫集成电路CAD系统”研发,获国家科技进步一等奖。他带领团队成立公司深耕垂直领域,推动构建国产EDA生态链。他认为突围要把握“缝隙效应”,还强调用AI辅助科研,培养高素质人才。
AI 的宿命数字
AI在1到50间随机选数时,常选27,还编造推理过程,会根据时间调整算法保证结果为27,也有选42等情况。这或源于人类文化偏见,AI是人类集体记忆镜子,难摆脱宿命。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败?首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向,应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集,设计三种初步方法并评估,虽现有方法表现有限,但此研究意义重大,有望助力打造更可靠系统。
Agent架构搭建 ≠ 堆Skills
现在很多Agent架构以大量Skills为基础,但这种做法大概率会翻车。Skills机制让模型自行判断是否使用及何时使用技能,其判断不可靠,随着技能数量增多,系统可靠性变差,设计上需平衡灵活性与可控性。
OpenClaw 引爆 AI 安全焦虑,Armadin 的 Agent 攻防闭环会成为新范式吗?
OpenClaw走红使agent自主执行任务能力受关注,也带来网络安全风险。传统安全体系难应对,Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环,介绍其理念、产品、案例及面临的技术挑战。
拒绝传统 Router“瞎指挥”,多智能体如何实现智能任务分配?
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”,搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型,它先推理再选 Agent 集合,经多数据集评测表现出色,还提供完整开源范式。
英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。
华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。