「力学规律」共找到 92 篇相关文章
Megatron 1F1B流水线并行中的负载不均衡问题研究
文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’，原因是最后一个Stage计算慢致不同步，额外计算引发通信延迟，还梳理了流水线各阶段执行过程。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
用“蒸汽机”生成视频，还能音视频一体化交付？
8月21日百度营销发布百度蒸汽机2.0，含多版本，有声版可音视频一体化交付。经测试，其生成视频细节佳、运动规律合理。它能解决影视业诸多痛点，成本低，还可免费使用。
4D空间智能：AI如何一步步「看懂」时空结构？一篇综述解析通往四维世界的五大层次
4D空间智能重建整合静态场景与时空变化，构建含时间维度的空间表征系统。南洋理工等高校研究者调研该领域，提出按建构深度分五层的新视角，展现AI认知从基础到高阶的进化路径。
程序员都在给AI当“监工”！7万多条编程消息揭开当前编程现状
圣母大学和范德堡大学研究团队剖析超7万条编程指令，揭示开发者与AI编程助手协作现状。开发者多当“监工”，工作从敲代码转向指导AI、诊断错误等，还总结出人机协同的诸多规律。
今年看到最系统的AI Agents时代Memory综述~
分享由NUS、人大等联合出品的《Memory in the Age of AI Agents: A Survey》。用三维框架讲透200+篇论文，提出新三大记忆形态，展望7大前沿，还涵盖记忆各方面知识及资源。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
Meta联合Google新作：语言模型到底“记”了多少东西？
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。
AI科研全周期拆解：从选题到宣发，哪里能放手，哪里得盯着
Awesome AI Auto-Research Team 综述梳理 AI 科研全周期能力与局限，按四阶段八环节拆解，介绍五种方法范式，指出各阶段应用情况、瓶颈及规律，强调人本治理的 AI 辅助科研才是可信路径。
人工智能研究者如何意外发现：我们对“学习”的理解，可能全是错的
传统理论认为大模型会过拟合，而如今大模型却驱动了诸多应用。2019年研究者突破传统扩大模型规模，出现‘双下降’现象。‘彩票假说’解释其成功原因，还重新定义了‘智能’，揭示科学进步规律。