搜索：策略内自蒸馏

「策略内自蒸馏」共找到 1363 篇相关文章

Google 2025年6月核心算法更新及应对，以及百度5月7月算法对比

Google发布2025年6月核心算法更新，预计3周完成。此次未透露方向，暂无针对性策略。还介绍了核心算法更新概念、近期更新情况、应对方法，对比了与企鹅算法差异，此外提及百度5月和7月算法对比及MCP协议。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

文章指出大模型与MySQL数据库运维结合能改变传统管理方式，提供完整的MySQL大模型运维系统构建路径，涵盖知识库建设、模型选择与调用策略设计、MCP Server开发及监控与优化闭环建立，可提升运维效率与准确性。

文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。

大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。

Anthropic状告阿里蒸馏模型致其股价创新低。一位87年创业者用AI搭工作流，起初用DeepSeek和Qwen问题多，换Claude后流程顺畅。MRCR v2测试显示国产模型与Claude有差距，便宜与省心模型该怎么选成问题。

上海大学王震宇副教授团队在《自然·电子学》发文，用二硫化铌和二硫化钼做出新型非易失存储器，能保持数据约19年、擦写超6万次，还具备计算和存储两种本领，对未来低功耗计算和存内计算有吸引力。