「激活函数」共找到 205 篇相关文章
开源动态8
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
AGI Hunt
算法论文8
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
通义千问Qwen
开源动态8
单卡可跑18万原子！分子模拟的“规模焦虑”该终结了
至知创新研究院UBio团队发布的UBio-MolFM v1.5，是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升，实测中表现优于经典力场，架构、数据和训练都有创新，误差降45%，速度提8倍，现已开源。
量子位
开源动态9
iPhone断网跑35B多模态！国产开源新模型，只占3G内存
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值
量子位
8
APP推广，常用的100种英文名称解释
ASO工具箱里装着哪些英文专业名词？从AARRR到watchOS，一篇文章带你了解APP推广中常遇到的100个英文术语。