「MoE层」共找到 452 篇相关文章
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
刚刚，阿里Qwen3.6又悄悄放出4个开源权重，卷疯了
继今年2月发布Qwen3.5系列后，阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性，为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。
无需租GPU，一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。
用 AI Coding 工具生成 60 万字奇幻世界设定的实践记录
作者先尝试用 Python/C# 编排 LLM 调用生成小说世界设定，遇节点信息查看、输出形态等问题。后用 AI Coding CLI，经搭建骨架、基础层展开等阶段生成 60 万字奇幻世界设定，还基于此创作叙事。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
离开马斯克后，他把人形机器人做成了这样
MATRIX - 3是矩阵超智推出的物理智能机器人，主打安全、自主、可泛化。公司团队背景强大，创始人张海星经验丰富。该机器人从底层到顶层重构，有三大优势，目标是走进人类生活，早期体验计划已开放。
YC 年终座谈会：AI 泡沫反而是创业者助力？
Y Combinator合伙人与创始人在Lightcone博客节目回顾AI观察，以「AI泡沫的真相」为主题分享看法。发现AI经济形成稳定格局，所谓泡沫实则为应用层带来红利，还探讨了模型选择、AI使用方式等问题。
DeepSeek开源的不仅仅是个新OCR模型。。。
DeepSeek开源3B参数的新OCR模型，重新思考AI处理长文本方式，用视觉token压缩文本信息。核心组件有DeepEncoder和DeepSeek3B - MoE解码器，实验效果好，成本降低，还解决了一些算法和工程问题。
硅谷顶级团队闭门会，让Agent活下来的共识，95%的AI Agent都死了
旧金山AI技术大会上，企业大佬指出95%的AI Agent在生产环境中失败，活下来的5%符合5个共识，包括做好上下文选择系统、重视安全权限与用户信任、将记忆作为架构决策、多模型编排及合理运用对话与GUI等，还提及被低估的方向。