「云优化」共找到 1646 篇相关文章
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
大型语言模型稳定强化学习的新路径:几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本,通过优化几何平均替代算术平均,解决GRPO训练不稳定问题,在多任务实验中显著优于GRPO。
手机“自动驾驶”时代来了,智谱还让手机拥有“云替身”
作者参加智谱AutoGLM新版本闭门会并试用,该版本亮点多,如成全球首个手机通用Agent,操作在云设备运行,全平台覆盖等。云手机Agent能力稳定高效,能处理多类任务,还可助老人等群体用手机。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
重新审视SFT的泛化能力:优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆,RL实现泛化’观点,指出SFT泛化是条件性现象,受优化动态、训练数据、基模型能力影响,还揭示长思维链SFT会带来安全性能退化。
北大彭一杰教授课题组提出RiskPO,用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO,解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标,用「关注奖励分布左尾」替代「追求整体均值」,在多领域数据集上表现超越 GRPO 等。
6.6K标星!微软开源Agent自我优化框架,为智能体注入持续学习能力!
开发AI Agent常面临部署后难自动优化的问题。微软开源的Agent Lightning,加几行代码就能让Agent自动学习、持续优化,有事件追踪等核心能力,安装简单,应用场景丰富。
阿里云CIO首次系统复盘:大模型落地的RIDE方法论与RaaS实践突破
阿里云智能集团 CIO 蒋林泉分享大模型落地实践,介绍了阿里云在翻译、智能外呼等场景的应用案例,提出 RIDE 方法论,包括重组组织、识别机会、定义指标和推进执行,还分析了翻译和 Agent 模式的要点。
阿里开启 Token 战略,喊出云+AI 年收入破千亿口号,底气从哪来?
3月19日晚,阿里在财报电话会提出未来五年云与AI商业化年收入破1000亿美元目标。过去三月,阿里云Token消耗涨6倍,自研芯片交付47万片,还提价。其正从‘用户红利’转向‘Token经济’,有望‘量价齐升’。
斯坦福意外用AI生成超强CUDA内核,性能比人类专家优化得还要好!翻倍碾压原生PyTorch,华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的,在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码,还使用多分支探索模式。