「超大规模混合专家架构」共找到 684 篇相关文章
DeepSeek 推出快速模式和专家模式
DeepSeek web 端灰度测试快速模式和专家模式，快速模式用于日常会话，专家模式适合复杂任务，但不支持文件上传，上下文仅 128k。目前两模式能力与 v3.2 没差别，或为 v4 做准备。
多快好省，Qwen3混合部署模式引爆MCP
文章介绍Qwen3混合部署模式在MCP中的应用。MCP是AI与外部交互的标准协议，解决传统问题。Qwen3性能强、成本低，有混合思维等特点。通过本地小尺寸和满血版结合部署，实现多快好省，但仍有资源消耗等不足。
HexStrike代理：让大模型继承专家经验，显著提升渗透测试效率
HexStrike是开源渗透测试工具，以MCP为底座。其核心智能组件IntelligentDecisionEngine是专家系统，将安全专家经验规则化，通过知识库和算法提供工具选择和参数优化，提升渗透测试效率。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
让沉默三千年的甲骨开口：首个模仿人类专家工作流的辅助释读系统
近日，华中科技大学等联合团队推出首个模拟专家释读流程的人工智能系统AlphaOracle，辅助甲骨文破译。它整合多类资料，形成证据链，经专家评估，有较高评价且能节省分析时间。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
腾讯助力Deepseek完善DeepEP,RoCE提升100%，InfiniBand提升30%
Deepseek团队合并腾讯提交的代码完善DeepEP，称有巨大速度提升，RoCE提升100%，InfiniBand提升30%。DeepEP是为混合专家模型和专家并行设计的通信库，有多项创新特性，适合现代AI应用。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
OpenAI 3万亿美元测试，AI首战44个行业人类专家！
OpenAI推出GDPval评估体系，通过真实工作任务审视大模型潜力，揭示AI从实验室走向3万亿经济战场的可能。早期测试显示，Claude Opus 4.1表现最佳，GPT系列进步快，模型在部分任务逼近人类专家水平。
Adaptive Reasoning Model：Qwen3混合思考->字节AdaCoT->清华AdaThinking
文章介绍三种处理混合思考模式的方法，阿里 Qwen3 通过 SFT 让模型具备思考能力，但需人为控制；字节 AdaCoT 和清华 AdaThinking 让模型自主决定是否思考，分别用多目标优化和受限优化目标训练。