「激活参数」共找到 746 篇相关文章
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
MiniMax M2 发布即爆，拿下开源模型第一名
10月27日，MiniMax发布新一代文本大模型M2及由其驱动的MiniMax Agent。M2是专家混合模型，参数达230B但激活仅10B。它在开源模型评测中夺冠，能低成本、高速度支撑工作流，开发者评价高。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。
准确率轻松翻倍！不烧钱微调，AI靠“写日记”实现能力跃升
Memento - Skills系统抛弃大量算力微调模型参数的方式，靠读写反思、“写日记”式学习机制，在不改变模型参数下实现能力跃升，在GAIA和HLE基准实验中准确率显著提高。
Pinterest 利用内容指纹技术，在数百万个域名中实现 URL 去重
Pinterest工程师开发“最小重要查询参数集”（MIQPS）URL标准化系统，用于优化大规模数据采集管道内容去重。它取代传统方法，用数据驱动判断参数重要性，还采用早期退出逻辑等提高效率。
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
Hugging Face开源顶级模型：双模式推理+128K上下文，最强3B
今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。