「步数蒸馏」共找到 574 篇相关文章
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
RAE的终极形态？北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。
扎克伯格急了！Meta内部文件曝光：宁用竞品，也要废掉祖传系统
Meta的「超级智能实验室」发起内部革命，加速AI开发。扎克伯格豪赌AI，投巨资重组团队、吸引人才。内部文件显示，Meta强制员工用AI，还让员工弃自研系统，用Vercel等平台。
刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈
为争夺有限GPU，OpenAI内部争斗激烈，2024年算力投入70亿美元仍不够。微软发布全球首台GB300超算专供OpenAI，可让万亿LLM数天训完。OpenAI建立资源分配机制应对挑战。
开源半自动化交互工具
Automat 目标是半自主玩各种游戏，是构建通用计算机交互环境首步。目前功能限于键盘宏录制和回放，不稳定。它是进行中的项目，路线图有激进新功能。文中介绍下载、运行方法及项目地址。
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
「一只手有几根手指」，你的GPT-5答对了吗？
CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
Claude一举扫清2000阶以下哈达玛矩阵！AI开始清空数学“待解列表”
Anthropic研究员携手Claude做出668阶哈达玛矩阵，解决该问题。此问题曾难倒人类数学家30年，被收录进FrontierMath基准测试。此次还扫清2000阶以下所有悬而未决的哈达玛矩阵阶数。