「稀疏蒸馏」共找到 216 篇相关文章
4月30日凌晨,Meta举行首届AI开发者大会LlamaCon,推出Meta AI聊天机器人应用程序与ChatGPT竞争,发布Llama API。Meta试图强化开源模型生态系统以限制OpenAI发展,扎克伯格与微软CEO还探讨了开源闭源模型生态等内容。
GPT-6 Sol被曝即将发布?内部「AGI」已浮出水面
本文整合X平台多方信源爆料,曝光OpenAI即将发布的GPT-6 Sol的定位、定价、技术背景,同时爆料Anthropic将提前发布新品截胡,还披露GPT-6 Astra的口碑争议与推迟发布的安全漏洞问题。
AIAA J | 西工大翟凯宇、李楠等:膨胀拐角影响下入射激波/边界层干扰的标度律分析
高超声速进气道肩部区域的激波 - 膨胀波 - 边界层干扰影响大,传统标度律有误差。本研究结合实验与理论,研究膨胀拐角影响下的入射激波/边界层干扰,提出改进标度律,还构建混合监测框架实现准确预测。
Yann LeCun非生成世界模型前瞻:开年三篇论文展示JEPA工程化拐点
2026年Yann LeCun团队3篇论文展示基于JEPA框架的非生成世界模型工程化拐点。Rectified LpJEPA让表示更省力,GRASP将长时域规划并行求解,EB - JEPA把方法写成代码,为非生成式世界模型提供技术路线。
DeepSeek深夜炸场,开源了一个新项目&论文,V4打前站?
凌晨,DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力,在多方面实验表现出色,如推理任务增幅大于知识任务,还分析了其机理和系统效率。
RAE的终极形态?北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP,解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP,实现图像重建,还提出双条件架构用于生成和编辑,在多基准取得 SOTA 性能。
告别「面瘫」配音,InfiniteTalk开启从口型同步到全身表达新范式
传统video dubbing技术有局限,新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’,实现口型、表情、肢体与音频自然对齐,解决长视频生成难题,技术已开源。
KDD 2025 Best Paper Runner-Up | EI-BERT:超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架,解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化,实现 99.5% 压缩率。在多任务中表现出色,已在支付宝大规模应用。
开源即屠榜!UniME多模态框架登顶MMEB全球训练榜,刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME,刷新MMEB训练榜纪录。它是两阶段框架,经文本判别知识蒸馏和困难负样本增强指令微调,在多任务达SOTA,项目已开源。
小米罗福莉:MiMo-V2.5如何做到又快又强又便宜? | ICML 2026
2026年7月ICML大会上,小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路,从架构、训练、推理协同设计,实现“聪明、快速、便宜”,如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。