「混合专家层」共找到 977 篇相关文章
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
英伟达老黄收购了一家AI编程公司
英伟达刚收购AI coding初创公司Solver，该公司成立三年，专注编程AI Agent。此前英伟达收购不少降芯片成本或提供AI支持的公司，此次收购契合其构建软件生态层战略，或使AI智能体逼近软件开发核心。
企业出海，被中国信通院和腾讯重新定义了一次
中国企业出海面临信息分散、专业支撑不足、属地化服务难等问题。7月17日，中国信通院与腾讯在2026世界人工智能大会共赢金砖论坛上推出AI航海家+，将七国生意经装进AI对话框，有22位懂当地规则的专家，能替企业做判断。
AMS | 西工大董戴玮、张伟伟等：求解偏微分方程的残差级联极限学习机
本文设计残差级联极限学习机（RC - ELM）缓解极限学习机（ELM）求解偏微分方程的病态问题。将多个ELM块级联，配备相同隐藏层，传递残差求解。实验显示，相比经典ELM，RC - ELM精度优势显著，误差降约4个数量级。
Meta超级智能实验室又发论文，模型混一混，性能直接SOTA
大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。
奥特曼：感受不到GPT-5变强，是因为你还不够「专业」
GPT-5发布后口碑不佳，直播事故、网友吐槽、专家唱衰不断，有人喊出‘AI第二次寒冬要来了’。但奥特曼认为这是节奏和期待错位，GPT-5在科研等高阶领域有提升，技术范式也有转变，且OpenAI仍看重规模。
央企怎么做超级智能体？对谈中电信天翼AI：自研模型为底座，自主规划是必须，能适应千行百业才行
中国电信天翼AI发布星辰超级智能体，获2025企业级AI Agent榜单央企第一。它依托自研“星辰大模型”，具备全模态、复杂推理等能力。访谈专家指出智能体可直接产出应用，落地需嵌入主业系统，电信持续迭代模型优化它。
离谱！现在的Agent都卷成100个成团了？3分钟并行干完5个复杂任务，还能随时改需求
百度文库、百度网盘联合发布全球首个全端通用Agent——GenFlow2.0，能让100+AI专家Agent天团并行工作，3分钟交付5、6个复杂任务，还能随时改需求。它依托权威资料，可控性强，多任务并行，已上线百度文库Web端/APP。
开源DeepSeek R1增强版：推理效率快200%，创新AoE架构
德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera，基于三大模型混合开发，采用创新AoE架构，推理效率比R1 - 0528快200%，成本大减，在主流测试中性能更好。还介绍了AoE架构构建子模型方法。