「混合专家架构」共找到 2359 篇相关文章
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
Mistral 3发布，14B多模态小模型表现优异
Mistral AI第三代模型发布，含三个小型密集模型和稀疏混合专家模型Mistral Large 3，全用Apache 2.0许可。有多项技术亮点，Ollama等支持部署微调，还给出实用配置建议。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。
挑战扩散自回归统治！字节提出视觉生成第三种路线，让模型像人类一样边画边改
五一期间字节商业化技术团队研发出新一代视觉生成模型，其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改，解决了现有模型的问题，在多项基准测试中刷新SOTA记录。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
Qwen3新成员：Embedding系列模型登场！
今天正式发布Qwen3-Embedding系列模型，专为文本表征等任务设计，继承Qwen3多语言理解优势。在多项基准测试表现卓越，已在多平台开源，有卓越泛化性、灵活架构与多语言支持等特点。
阿里成立Token Hub事业群，打碎钉钉，做成龙虾！
阿里巴巴成立Alibaba Token Hub事业群，首席执行官吴泳铭挂帅。旗下设5大事业部，目标是创造、输送和应用Token。还发布企业级旗舰应用悟空，重写底层架构，打造专属文件系统与Skill生态，展示多款智能硬件。
直播预约 | LightMem：面向大模型的轻量化可插拔记忆系统
本报告聚焦大语言模型长期记忆构建与轻量化机制。现有外部记忆系统有记忆臃肿、组织低效、更新代价高问题。为此提出LightMem架构，能为大模型提供轻量、高效、可扩展记忆组件。
0.7nm制程芯片问世！摩尔定律又活了
IBM推出全球首款0.7纳米芯片制程节点，指甲盖大小芯片可集成近1000亿晶体管，性能或能效大幅提升。靠‘纳米堆叠’架构实现突破，最早5年内量产，有望让芯片微缩延续十年。
π0.7发布，VLA押出了机器人的GPT-3时刻
今天凌晨，Physical Intelligence发布VLA模型π0.7，首次在机器人领域证明组合泛化。它用多样化prompt处理多样数据，涌现多种能力，还证明数据过滤可能是伪问题，架构基于前作，推动VLA回归。