「高稀疏度MoE结构」共找到 711 篇相关文章
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
卷赢OpenAI也没用！Salesforce用100万次对话揭秘：AI Agent最大的坑，根本不是技术！
Salesforce处理超100万次AI Agent与客户对话后复盘，指出行业追求“全自动化”是陷阱。AI Agent不仅要融合非结构化和结构化数据，还需提升人工介入率，遵循“同理心优先”原则。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。
结构化扩展拿下Agent工具检索新SOTA，精准找到API｜ICLR'26
宁波东方理工大学沈晓宇团队在ICLR 2026发表论文，指出当前工具检索瓶颈在于工具文档。提出对文档结构化扩展，再训练模型的方案，构建TOOL - REX等组件，实验显示显著提升检索性能。
因果发现进入基础模型时代：CDFM 如何从数据中推断因果结构 | GAIR Paper 120
因果发现正从“手工挑选算法”走向“大模型统一零样本推断”范式。广东工业大学等团队提出CDFM，能统一处理多种情况，解决传统方法痛点，在多方面展现良好性能，是因果发现基础模型时代的重要起步。
三个方法让Cursor构建网站更加精美：Browser MCP 克隆 + 提示技巧 + 组件修改！（Bolt、Lovable）
文章介绍用Browser MCP克隆网站结构、结构化Prompt模板及UI组件修改三种方法，让Cursor构建网站更精美，还分享Lovable设计技巧、让AI网站变好看的方法及早期公司获客策略。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
CVPR2026满分论文：Proxy-GS为结构化3D高斯溅射引入统一遮挡先验
上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS，面向基于MLP的结构化3D高斯溅射，用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用，在遮挡密集场景实现渲染加速，画质与速度均优。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。