「稀疏混合专家」共找到 754 篇相关文章
无需租GPU，一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。
OpenAI突然封锁最强GPT-5.4！3000个致命Bug瞬间蒸发
OpenAI在Claude Mythos泄露一周后，祭出专门为安全防御微调的GPT-5.4-Cyber，仅网络安全专家可用。还升级网络安全“信赖访问计划”。其战略有三原则，Codex Security已修好超3000个高危和致命漏洞。
通过架构建议流程实现架构决策的去中心化
Andrew Harmel - Law 在 Goto 大会提出架构建议流程，认为传统架构实践不可扩展，架构需去中心化。该流程让任何人可做决策，只需向受影响者和专家寻求建议，还提到失效模式及实践转变。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
“最强具身VLA大模型”，究竟强在哪儿？
机器人基础模型π*0.6刷屏，能让机器人高效完成多项任务。它引入Recap学习法，突破传统模仿模式。其核心方法RECAP让VLA用奖励反馈和人类介入训练，还能从异构数据学习，实现自我进化。
从“卡脖子”到“破局点”：一家中国公司的高端半导体键合突围战
芯师爷专访迈姆思半导体负责人潘总，该公司专注高端半导体材料“再制造”，技术体系有高端SOI制造、异质集成、混合键合三大支柱。其在多领域有领先产品，技术壁垒高，产能将逐步扩大，供应链安全可控。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
AI 产品范式探讨：非线性思维、多 Agent 协作才是复杂任务的更优解
本文探讨AI产品范式，指出当前大模型产品设计多将其视为‘万能单兵专家’，但复杂任务下效果不佳。提出群体智能、非线性思维等观点，阐述人机协作方向，介绍新范式及AI产品商业化核心是信任。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。