「蒸馏陷阱」共找到 172 篇相关文章
Anthropic深夜叫停“无限套餐”!一份万亿Token账单,揭开AI行业烧钱的恐怖真相!
文章以Anthropic叫停‘无限套餐’为例,揭示AI行业烧钱真相。指出‘模型降价能盈利’是错觉,存在‘没人用旧模型’和‘AI Agent耗Token’两大陷阱,还给出三条破局出路。
4月30日凌晨,Meta举行首届AI开发者大会LlamaCon,推出Meta AI聊天机器人应用程序与ChatGPT竞争,发布Llama API。Meta试图强化开源模型生态系统以限制OpenAI发展,扎克伯格与微软CEO还探讨了开源闭源模型生态等内容。
GPT-6 Sol被曝即将发布?内部「AGI」已浮出水面
本文整合X平台多方信源爆料,曝光OpenAI即将发布的GPT-6 Sol的定位、定价、技术背景,同时爆料Anthropic将提前发布新品截胡,还披露GPT-6 Astra的口碑争议与推迟发布的安全漏洞问题。
治好多模态近视和走神!上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题,总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预,无需增加计算成本,却能显著提升主流模型视觉理解能力。
Ilya重新定义AGI: 为什么ChatGPT离真正的AGI还很远
OpenAI前首席科学家Ilya在访谈中提出对AGI的新定义,还指出AI规模时代结束,未来拼想法和研究深度。他分析模型评测强但经济影响弱的原因,阐述人类价值函数作用,且SSI战略或调整。
RAE的终极形态?北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP,解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP,实现图像重建,还提出双条件架构用于生成和编辑,在多基准取得 SOTA 性能。
均值至上假繁荣!北大新作专挑难题,逼出AI模型真本事
当强化学习成大模型后训练核心工具,主流方法陷入「均值优化陷阱」,推理能力停滞。北大团队提出RiskPO,将风险规避理念融入优化目标,用MVaR+捆绑策略双管齐下,三大任务表现优异。
KDD 2025 Best Paper Runner-Up | EI-BERT:超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架,解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化,实现 99.5% 压缩率。在多任务中表现出色,已在支付宝大规模应用。
开源即屠榜!UniME多模态框架登顶MMEB全球训练榜,刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME,刷新MMEB训练榜纪录。它是两阶段框架,经文本判别知识蒸馏和困难负样本增强指令微调,在多任务达SOTA,项目已开源。
刚刚,DeepSeek陈德里与两个AI,合写了一篇论文
DeepSeek研究员陈德里与DeepSeek-V4-Pro、GPT - Image2合写论文《From Copilots to Colleagues: A Survey of Autonomous Research Agents》。文章是兴趣驱动的尝试,分析自主科研智能体,提出自主等级分类、架构模式分析及未解难题。