「梯度下降法」共找到 551 篇相关文章
无损减少80%激活值内存，提升5倍训练序列长度，仅需两行代码
港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。
给 AI 戴上六顶思考帽
作者探讨如何让 AI 长时间高质量输出，提出初版方案。后借助「六顶思考帽」思维法，用 Moxt 产品创建 6 个 AI 同事评审草稿，各帽给出反馈，AI 间通过文件协作，Moxt 有小问题但方向值得关注。
反超Nano Banana！OpenAI旗舰图像生成模型上线
OpenAI发布图像生成模型GPT - Image - 1.5，有更严谨指令遵循、精确编辑等亮点，速度快4倍。玩法类似Nano Banana，在指令遵守和精确编辑上有提升，将在ChatGPT面向所有用户推出，价格下降。但在世界理解能力上遭质疑。
Claude降智实锤了！还变相涨价，Opus跌下神坛
AMD高级总监审计发现Claude处理复杂任务能力变差，第三方跑分排名下降。官方称调整是为平衡速度与成本，但用户认为是变相降智。此外，企业包月套餐涨价，而Anthropic将推Opus 4.7和新设计工具。
死磕即梦48小时，我发现了AI公众号封面的懒人密码
作者与即梦Agent死磕48小时，分享AI公众号封面制作经验。介绍垫图法、两个提示词模板，测试提示词反推、语义理解等功能，指出不足，认为即梦像AI作图界拼多多，瑕不掩瑜。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈，SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致，因算力提升，其使TensorCore未充分利用、TMA效率低，建议用Cooperative策略。
The Batch: 979 | LLM 清理智能体的“垃圾”
研究人员提出选择性管理智能体记忆之法，小红书Xubin Hao等构建Self - GC。它在送上下文给LLM前，让大语言模型决定内容取舍。测试显示其删历史少且保留必要细节能力强，不过未测其输出质量。
分享一个我用了2年的深度研究Prompt，半小时帮你搞懂任何陌生领域。
作者分享用了2年的深度研究Prompt，即横纵分析法。该方法结合社会科学和语言学经典视角与商业分析思路，有Prompt和Skill版本且已开源。虽有局限，但能半小时帮人建立认知框架，助其快速入门陌生领域。
原生3D-VAEs，1536³三维分辨率，清华与微软TRELLIS 2开启3D全能生成新纪元
清华与微软团队推出TRELLIS 2系统，用全新O-Voxel表示法，1分钟生成1536³分辨率3D资产。它解决拓扑灵活性与存储效率矛盾，结合SC-VAE和流匹配模型，在多方面超越现有模型，还能适应不同场景。