「Sophia优化器」共找到 1409 篇相关文章
月之暗面刚开源多模态Kimi-2506：智能体、视觉理解，重磅大升级
国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升，支持更高分辨率，在多领域表现出色，还介绍了模型组成与优化器改进。
为什么这篇谷歌论文被称为「Attention is all you need」V2
谷歌新论文《嵌套学习：深度学习架构的幻象》引发关注，被称为「Attention is all you need」V2。它指出主流优化器是关联记忆系统，提出嵌套学习范式，构建HOPE架构，为AI设计带来新思考框架。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
Muon作者仅用一篇博客，就被OpenAI看中了
Keller Jordan 2024 年 12 月 8 日发布博客提出用于神经网络隐藏层的优化器 Muon，能提升训练速度。他未发论文，称只信速通。其案例显示 OpenAI 重能力。博客对前沿指标描述或过时，Muon 有诸多实证成果。
所有环节都上最强模型，这可能是做 AI 智能体最贵的错误
开源项目 AgentOpt 指出，很多团队做 AI 智能体默认把最强模型塞进各环节，既贵效果也未必好。真正决定智能体效果和成本的是将合适模型放合适位置，智能体需要能找最优解的模型优化器。
ASO是什么意思？ASO目标与工作内容，ASO常见误区（基础篇）
ASO（应用商店优化）的精髓在于通过对产品特性的分析与用户群体标签的判断，挑选相关度高的关键词，提升App的覆盖、曝光、转化，从而获取更多用户。它不仅包括关键词搜索排名优化，还涉及榜单排名、转化率、推荐位等优化，提升App在应用商店的自然下载量。
ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式
本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。
分享一个谷歌和百度都优化得不错的网站
一个域名注册于2008年的网站，2020年5月才真正启动，却在谷歌和百度的优化上做得风生水起。它的流量主要来自搜索引擎，谷歌收录484万条，百度收录193万条。这个网站通过子域名提升权重，并巧妙地使用分类而非重复关键词来优化内容，使其在搜索结果中排名靠前。
Lilian Weng：Harness才是模型自我迭代的现实起点和关键，而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出，实现AI递归式自我改进（RSI），设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径，也指出自我改进面临的瓶颈。
AMS | 西工大向锦鹏、宋述芳等：一种用于伴随方程求解的物理约束图神经网络
伴随方法用于高维优化问题，但求解伴随方程代价大。本文提出物理约束图神经网络(ADJ - PCGN)，构建流场解与伴随向量映射模型，有精度和泛化性，能加速优化，方便嫁接求解器。