搜索：稀疏专家机制

「稀疏专家机制」共找到 1403 篇相关文章

揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2

中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。

作者实测阿里Qoder「专家团模式」，该模式下Qoder组织赛博工程团队，自动解析需求、分配任务，多智能体协同推进项目，解决了代码质量和效率问题，开启多智能体协同编程时代。

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。

尽管大语言模型有进展，但纯自治多智能体系统有局限。为此提出 HILA 框架及双环策略优化机制，结合 DLPO 的 HILA 在基准测试中表现出色，为构建 Agentic 系统提供指导。

大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。

Cloudflare 宣布用 Rust 重写核心子系统，响应时间缩短 10 毫秒、性能提升 25%。基于代理框架 Oxy 构建 FL2，创建中间层让 Rust 模块在旧系统运行，还制定测试发布策略及回退机制。

近年来视频AIGC推动音频驱动人体动画变革，但传统视频配音局限口部。中国科学院大学提出稀疏帧视频配音范式，推出InfiniteTalk生成器，结合多种技术实现全身动作与音频同步，实验表现突出。

华为泰勒实验室等团队提出 SHAPE，给推理链装「里程碑 + 推理税」机制。它分三步，能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示，它提升准确率、降低 token 消耗，还解决了推理坍缩等问题。

大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。

KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。