搜索：自蒸馏策略优化

「自蒸馏策略优化」共找到 2068 篇相关文章

刚刚，DeepSeek 突发梁文峰署名新论文：V4 新架构提前曝光？

今天凌晨，DeepSeek在其GitHub官方仓库开源了新论文与模块Engram。该论文提出“查—算分离”机制，通过引入可扩展的查找记忆结构，在等参数、等算力条件下提升模型表现，代码与论文全文均已开源。

前谷歌大脑研究员 Sara Hooker 发文指出，过去十年 AI 创新依赖算力，但如今持续扩展训练计算资源效率极低，收益递减。她探讨了影响算力回报率的因素，批判 Scaling Law，并提出未来创新方向。

10月29日，Cursor 2.0发布Composer大模型，效率约为其他模型四倍。开发者分享其成极速代码Agent方法，如强化学习、平衡训练与推理负载等，还提及未来方向及研发反思。

谷歌连发产品，Gemini 3 余温未消又推出 Nano Banana Pro。Google DeepMind CEO Demis 与团队副总裁对话谈其细节，包括降低运行成本、调整“人设”、提出“氛围编程”，还认为 AGI 到来需 5 到 10 年及研究突破。

中科院、中山大学、北大团队针对高效微调模型合并难题，提出「方向鲁棒性」概念，揭示 PEFT 模块合并失败主因，给出 RobustMerge 解决方案，提升性能，成果开源。

10月25日，GTLC全球科技领导力大会·成都站圆满举办，以“AI新‘蜀’光”为主题，邀请十余位嘉宾从多角度分享。大会含主题演讲、闭门会和特色活动。多位嘉宾围绕AI应用、企业转型等分享经验，为各行业提供参考。

2025年是AI智能体元年，市场规模将达113亿美元，但企业部署面临‘效能黑箱’，缺乏评估规范。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现征集起草单位和个人。

全球第一家被收购的AI浏览器公司诞生，Atlassian以6.1亿美元收购The Browser Company，重点是尚在内测的Dia浏览器。收购早有预谋，The Browser Company为获资源，Atlassian看好Dia潜力。

Anthropic宣布Claude Sonnet 4支持100万Token上下文窗口，容量是之前5倍。长上下文支持已向部分客户公测，将推给更多用户。该功能已在亚马逊Bedrock公测，也将登陆Google Cloud。还介绍了用例、定价及早期用户好评。

清华大学教授段然提出最短路径新方法，击败经典Dijkstra算法，突破40年排序瓶颈。该算法不依赖排序，运行更快，摘得STOC最佳论文，团队正优化追求更快速度。