「专家混合架构」共找到 2359 篇相关文章
清华系团队出手！一张 4090 即可「爆改」，1.3B小钢炮震撼开源
5月11日，清华系团队面壁智能联合多方开源端侧多模态大模型MiniCPM-V 4.6。它参数仅1.3B，性能超阿里、谷歌等同级对手，效率翻倍，还实现两项架构创新，适配主流开源生态，降低开发门槛。
推理成本太高、算力不够用？单纯堆卡没用，得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上，阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案，覆盖云到边缘、多算力平台。
英伟达改卖Token？黄仁勋GTC后发声：token就是AI新通货，值钱的不是算力，是“每度电的智商”
英伟达黄仁勋在采访中强调其是加速计算公司，非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出，token 是新通货，还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。
CAG又回来了，这次它带着RAG！
文章对比CAG和RAG，指出CAG虽解决RAG部分痛点，但有根本限制，对海量变化知识库，RAG不可替代。Aurimas将二者结合做「动态混合层」效果好，还给出实施架构和关键点。
DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均
昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。
必看！Sebastian Raschka新博客盘点了所有主要注意力机制
著名AI技术作家Sebastian Raschka发布博客《现代LLM中注意力变体的可视化指南》，回顾近年开发并用于开放权重架构的注意力变体，包括多头、分组查询、多头潜在等注意力机制，还分析各机制特点、应用场景及优劣势。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
阿里AI 重磅第4发：电影级MOE 视频模型Wan2.2正式开源！
阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。
AI原生数据库的思考
文章围绕AI原生数据库展开，分析企业应用大模型的问题，指出AI场景驱动数据库新工作负载。探讨AI数据库变与不变、实现路径，介绍原生混合搜索、现代数据架构、数模融合等，还提及seekdb的发布、定位、优势与不足。