「模型退化」共找到 7712 篇相关文章
图像编辑缺训练数据？直接从视频中取材，仅用1%训练数据实现近SOTA效果
百度研究人员提出将图像编辑视为退化的时间过程，Video4Edit利用视频预训练模型知识迁移，仅用主流编辑模型约1%监督数据，在图像编辑任务达近SOTA效果，解决数据稀缺与权衡难题。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。
中年人的认知坍塌
Andrej Karpathy在播客提到模型持续用合成数据训练会出现‘认知坍塌’，能力退化。他认为人类随年龄增长和经验固化，也会从无限可能收敛到固定思维模式，像极了中年人的认知坍塌。
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
谷歌神秘模型Kingfall泄漏！
近日，谷歌AI模型Kingfall在AI Studio平台短暂开放后意外曝光。它具备多模态处理能力，上下文窗口6.5万个token，有两种模式。生成SVG矢量图能力超Claude 4，身份猜测不断。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。
李飞飞发布全新世界模型
李飞飞团队的World Labs发布两款新模型Marble 1.1和Marble 1.1 - Plus，能将平面照片转化为3D世界、提升画面清晰度。二者各有侧重，前者重画质优化，后者重空间生成，官方建议新用户从1.1开始用。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
国产模型开源封神，谷歌Genie3紧急开源？蚂蚁AGI撕开世界模型闭源防线
蚂蚁灵波发布开源SOTA级世界模型LingBot - World，全面对标谷歌Genie 3，部分性能指标超越。它有高保真、长视频生成等优势，还能解决具身智能痛点，发布后引发海外关注，促使Genie将开源。