「高稀疏度MoE结构」共找到 712 篇相关文章
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5，提供长文本推理后训练“配方”，含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力，效果显著，相关代码已开源。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。
4D空间智能：AI如何一步步「看懂」时空结构？一篇综述解析通往四维世界的五大层次
4D空间智能重建整合静态场景与时空变化，构建含时间维度的空间表征系统。南洋理工等高校研究者调研该领域，提出按建构深度分五层的新视角，展现AI认知从基础到高阶的进化路径。
JCP | 浙江大学边鑫等：基于 PINNs 的非结构自适应网格细化：面向稳态流动的残差驱动 AMR 新方法
本文提出利用控制方程残差引导网格细化的启发式策略，用物理信息神经网络（PINNs）整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比，显示该策略能平衡计算精度与成本，但有额外计算开销。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
大模型结构化推理优势难复制到垂直领域！最新法律AI评估标准来了，抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。
Kimi K2基于DeepSeek V3构建
从Hugging Face模型配置文件可知，月之暗面未设计全新模型结构，而是选Deepseek V3作基座模型，用自身高质量数据、独特方法做大量‘微调’和‘后训练’。
世界模型双冠王诞生！国产世界模型力压谷歌、英伟达等持续领跑
近日，Manifold AI 研发的世界模型 Worldscape 0.2 在 WorldArena 榜单夺冠，此前 WorldScape 0.1 也登顶 WorldScore。该模型参数规模小，进化靠 MoE 架构，展现国产世界模型实力。
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。