「自蒸馏策略优化」共找到 2064 篇相关文章
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
一句话，性能暴涨49%！马里兰MIT等力作：Prompt才是大模型终极武器
马里兰大学、MIT、斯坦福等机构研究发现，AI性能提升一半靠模型，一半靠提示词。他们让DALL - E 2和DALL - E 3 PK，发现DALL - E 3性能提升中，模型升级贡献51%，提示词优化贡献49%。
中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。
Loop Engineering，4层循环自我进化
Loop Engineering旨在解决人工调度agent的问题，设计系统替人prompt。其系统是四层嵌套循环，从内到外分别让agent干活、干得对、知道何时干、越干越好，还指出优化循环结构收益渐增。
深夜开源首个万亿模型K2，压力给到OpenAI，Kimi时刻要来了？
昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。
黄仁勋人生第一推，把硅谷劈成了两半！
7月24日晚，黄仁勋在X首发帖，公布25家联署的‘开源为什么重要’公开信，引发关注。马斯克、奥特曼等表态支持，但OpenAI等闭源三巨头缺席。信中为‘蒸馏’正名，凸显‘扩散派’与‘稀缺派’矛盾，中国开源模型崭露头角。
重构一个类，JVM竟省下2.9G内存？
文章复盘优化JVM内存的过程，仅重构一个类，堆内存从3205MB降至211MB。原设计用通用容器在海量数据下成“内存吞噬者”，新方案用FastUtil的Long2ObjectOpenHashMap和int[]，还详解了其原理和优势。
GPT-5攻入数学圈，证明定理快过博士生？网友热议AI新角色
9月初，arXiv一篇论文将GPT - 5写进数学研究成果。它解决了第四矩定理‘收敛速度’的空白，还在凸优化领域提升收敛界限。不过它常犯错，需人类引导，且成果原创性存疑，引发对科研和博士培养的担忧。
突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！
近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。
博士学位答辩PPT分享 | 基于机器学习的复杂流场预测方法研究
左奎军博士论文聚焦基于机器学习的复杂流场预测，以多种对象构建智能流场预测网络架构，发展耦合求解方法，剖析核心要素影响，提出多个创新模型和策略，还分析了不同模型在流场预测中的表现与问题。