「高稀疏度MoE结构」共找到 711 篇相关文章
阿里开源Qwen3-Coder-Next，80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next，总参数量800亿但仅激活30亿参数，在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏，模型训练分阶段，多领域专家模型能力整合，基准测试性能强劲。
MoE不够看了，腾讯推出MoT：2B具身模型22项评测16项最佳
腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
可从表复杂文档中提取结构化数据的Python库agentic-doc，支持100+页PDF长文档
LandingAI的Agentic文档提取API可从复杂文档提取结构化数据，Python库agentic-doc封装该API，支持100+页PDF长文档，有自动重试、并行处理等功能，还能可视化调试。
从 AI Agent、RLHF 到 MoE 大规模训练：AMD 这场开发者日，把一线实战话题凑齐了 ｜Q推荐
AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题，覆盖AI Agent、RLHF、MoE大规模训练等前沿领域，还有多场实操分享。
CJA|西工大林海涛、张伟伟等：关联函数学习：适用飞行器外形泛化的稀疏气动数据重构方法
本文提出关联函数学习（SFL）方法，通过符号回归挖掘气动力系数复合函数表达式，实现非线性气动数据稀疏重构与状态外推。用少量样本构建数据库，误差 1%-5%，比 Kriging 法样本量减超 90%。
9位顶级研究员连讲3晚，华为盘古大模型底层研究大揭秘
华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
大模型长脑子了？研究发现LLM中层会自发模拟人脑进化
帝国理工学院等机构研究人员发表论文，指出大型语言模型（LLM）学习中会自发演化出类似生物大脑的协同核心结构。研究对多个模型剖析，揭示其内部处理规律，为大模型可解释性开辟新路径。
TruthfulRAG，用知识图谱硬刚RAG知识冲突
RAG系统存在知识冲突问题，现有解决方法治标不治本。TruthfulRAG将非结构化文本转化为结构化事实，通过图构建、图检索、冲突解决三大模块解决冲突，实验显示其表现优异，结构化表示还提升了LLM置信度。