「自蒸馏策略优化」共找到 2064 篇相关文章
产品经理从0开始做网站,3个月时间实现每天从谷歌获取流量破千
Andy从产品经理转型为独立开发者,仅用3个月时间就实现了网站日点击破千。他通过不断优化产品、调整SEO策略、增加外链,最终在谷歌搜索中获得了显著的流量增长。
回村拜年、赶集舞狮:一台小机器人的县城奇幻漂流|甲子光年
2026马年春节,人形机器人迎来高光。‘清华系’加速进化公司将小型人形机器人Booster K1带回乡村,在多样场景测试。该公司走小而美路径,产品性能优、销量好,通过B端、C端策略打开市场。
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
帮大模型提速80%,华为拿出昇腾推理杀手锏FlashComm,三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下,华为数学家祭出 FlashComm。它包含三项技术,分别在 AllReduce 通信、以存换传、多流并行方面优化,解决通信瓶颈,提升推理性能,未来还将围绕多方向创新。
英伟达帮你省钱,让大模型推理「短而精」,速度快5倍
过去大模型推理追求长链思维,导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法,通过强化学习优化方法让模型‘短而精’,推理长度减超70%且准确率不变,还适用于大模型。
多模态扩散模型开始爆发,这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现,它继承扩散语言模型优点。与自回归模型不同,扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力,推理蒸馏和文本填空表现好,还能权衡速度与质量。
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧,如提前结束评估、超参数过度优化、精心挑选数据集等,指出现在90%的模型可能都用到其中不止一招,还介绍了自己用AI采集资讯发布到知识星球。
不同灵巧手,终于可以共用「一套大脑」了
北卡罗来纳大学教堂山分校团队提出 One Hand to Rule Them All,构建统一描述空间,使不同灵巧手共享动作表达与策略结构。该方法解决跨手泛化难题,实验证明其在多方面有效,有望推动机器人操作研究发展。
苹果光速撤回RLAX论文:用了谷歌TPU和阿里Qwen,作者中还有庞若鸣
苹果一篇新论文在 arXiv 公开后匆匆撤稿。该论文揭示基于 TPU 的可扩展 RL 框架 RLAX,用了谷歌 TPU、亚马逊云及阿里 Qwen 模型,还介绍其架构、策略支持等,实验结果亮眼,也分享 Debug 过程。
可攻可防,越狱成功率近90%!六大主流模型全中招 | EMNLP'25
研究人员聚焦大型语言模型(LLMs)安全漏洞,提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制,在6个主流模型上平均攻击成功率达87.23%;POSD能有效抵御攻击,还提升模型泛化能力。