「深度学习算子」共找到 2005 篇相关文章
深度学习中Batch Size对训练过程如何影响？
文章分析深度学习中batch size对训练过程的影响，探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题，还通过MNIST实验，从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
深度之赌：从卧室到上帝机器
文章讲述现代AI秘史，从Jeff Dean本科研究神经网络失误，到Google Brain诞生；还有Hinton等深度学习先驱经历，如Hinton当实习生、AlexNet诞生等，也提及Google发展及未先发ChatGPT原因。
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
模型即 Agent 的含金量：Kimi深度研究功能详评
作者分享Kimi深度研究功能体验。其基于端到端自主强化学习技术，会开源模型。在测试中，分析Labubu爆火原因、检索小米发布会内容，展现出强逻辑分析、搜索准确性和数据处理能力，可视化网页也出色。
JFM | 浙江大学郑畅东、谢芳芳等：基于Transformer网络的上下文学习跨翼型的主动流动控制策略
浙江大学郑畅东、谢芳芳等提出基于Transformer网络的上下文学习跨翼型主动流动控制策略。该框架引入策略改进算子，结合强化学习与气动形状优化，在翼型流动分离问题中表现出色，提升了整体性能。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
Andrew Karpathy最新访谈：RL很糟糕、人类学习和教育、智能和文化的演变、AGI还要十年，将带来2%的GDP增长
Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年，目前算法有缺陷；强化学习虽有问题但必要；分析了 LLM 局限，探讨人类学习机制、AGI 经济影响等多方面内容。
SCPMA|清华大学 张宇飞团队：基于改进傅里叶神经算子的翼型流场快速预测模型
传统计算流体力学在工程场景计算成本高，深度学习方法预测精度与泛化性不佳。本研究基于傅里叶神经算子构建流场预测模型，经改进能精确预测超临界翼型流场与气动力系数，误差低且泛化能力优。