搜索：神经网络训练

「神经网络训练」共找到 2201 篇相关文章

拟合接近满分，外推却会跑偏：Meta 给缩放律加了一个指数

大模型训练前，团队常用 Chinchilla 缩放律估算模型规模和数据量，但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数，降低外推误差，还采用 L 形采样降低试算成本。

摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda，实现Sim-to-Real真机验证。该平台像物理AI训练流水线，集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构，还构建了云端、端侧、生态闭环。

浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。

翁家翌在播客透露，起初推出ChatGPT是为收集用户数据，预期5天后关闭。他是OpenAI多代大模型发布贡献者，还分享了OpenAI内部情况，如模型训练、迭代速度等问题，也谈及自身经历和对AGI看法。

伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1，为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据，让模型学会像人一样查证，在多数据集上表现出色。

上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。

智谱AI与清华联合开源GLM - 4.5V视觉大模型，它基于GLM - 4.5 - Air开发，架构独特。在42项主流测试中创41项新纪录，多领域表现超Qwen2.5 - VL等模型，还采用新训练策略。

大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。

随着基于LLM的多智能体系统崛起，其安全隐患凸显。中国科学技术大学等机构提出G - Safeguard安全防护框架，它基于图神经网络，通过构建多智能体话语图等方式，能有效抑制恶意信息传播，有强大防御和泛化能力。

大模型训练后知识和记忆不再增加，智能体记忆能力发展不理想。国外Mem0针对AI记忆技术发表论文并开源，提出Mem0和Mem0g两种方案，在不同场景表现出色，已获多应用，还提供SaaS服务。