「激活参数」共找到 746 篇相关文章
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
首帧的真正秘密被揭开了：视频生成模型竟然把它当成「记忆体」
UMD、USC、MIT研究团队发现视频生成模型会把首帧当作‘概念记忆体’，将视觉实体存于首帧并在后续复用。基于此提出轻量方法FFGo，用少量例子让模型实现SOTA级视频定制。
清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明，用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力，训练曲线还很平滑。
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。
通用模型无法完全理解用户，AI产品的下一站是上下文的战场｜对话AI知识助手remio
量子位智库对话remio创始人汪源，探讨其开发初衷、核心价值等。remio主打无感自动化，成用户第二大脑，有信息捕获、管理等功能，数据本地存保隐私。还聊了目标用户、指标、功能及应对竞争等。
谷歌最新「0.27B」Gemma 3开源！身板小却猛如虎，开发者直呼救命稻草
大模型时代开发者算力焦虑严重，谷歌Gemma 3系列另辟蹊径。新成员Gemma 3 270M参数规模小但性能强，如在IFEval测试表现突出，有小体积强架构、省电等亮点，适用于多场景。
在WAIC，比起看机器人打拳，人们更想知道怎么用AI赚钱
7月27日普通观众参观日，WAIC现场火爆。本届大会规模为历届之最，机器人与模型厂商纷纷展示落地应用。机器人从“能动”走向“会干”，模型厂商聚焦场景，投融资锚点转向商业指标。