「混合专家层」共找到 977 篇相关文章
用 AI Coding 工具生成 60 万字奇幻世界设定的实践记录
作者先尝试用 Python/C# 编排 LLM 调用生成小说世界设定，遇节点信息查看、输出形态等问题。后用 AI Coding CLI，经搭建骨架、基础层展开等阶段生成 60 万字奇幻世界设定，还基于此创作叙事。
通过架构建议流程实现架构决策的去中心化
Andrew Harmel - Law 在 Goto 大会提出架构建议流程，认为传统架构实践不可扩展，架构需去中心化。该流程让任何人可做决策，只需向受影响者和专家寻求建议，还提到失效模式及实践转变。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
离开马斯克后，他把人形机器人做成了这样
MATRIX - 3是矩阵超智推出的物理智能机器人，主打安全、自主、可泛化。公司团队背景强大，创始人张海星经验丰富。该机器人从底层到顶层重构，有三大优势，目标是走进人类生活，早期体验计划已开放。
YC 年终座谈会：AI 泡沫反而是创业者助力？
Y Combinator合伙人与创始人在Lightcone博客节目回顾AI观察，以「AI泡沫的真相」为主题分享看法。发现AI经济形成稳定格局，所谓泡沫实则为应用层带来红利，还探讨了模型选择、AI使用方式等问题。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
“最强具身VLA大模型”，究竟强在哪儿？
机器人基础模型π*0.6刷屏，能让机器人高效完成多项任务。它引入Recap学习法，突破传统模仿模式。其核心方法RECAP让VLA用奖励反馈和人类介入训练，还能从异构数据学习，实现自我进化。
从“卡脖子”到“破局点”：一家中国公司的高端半导体键合突围战
芯师爷专访迈姆思半导体负责人潘总，该公司专注高端半导体材料“再制造”，技术体系有高端SOI制造、异质集成、混合键合三大支柱。其在多领域有领先产品，技术壁垒高，产能将逐步扩大，供应链安全可控。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。