「概念蒸馏训练策略」共找到 2515 篇相关文章
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
九成以上模型止步白银段位,只有3个铂金!通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段,下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架,剖析多模态大模型短板,推出五级评估体系和测试集,测试结果暴露模型弱点,引发社区积极反响。
Qwen突破:用「并行计算」代替「堆参数」,新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」,存在训练成本高、推理慢等问题。论文提出ParScale,用「并行计算」代替「堆参数」,让模型「分头思考」,推理效率提升22倍,旧模型也能改造,落地价值大。
智源技术分享:大模型行业应用新模式和关键实现路径
在 AICon 大会上,智源研究院周华分享大模型行业应用。分析落地问题,提出以大模型为核心的技术路径,涵盖数据、训练等环节,还给出数据生产流程建议,分享最新开源成果。
我是如何破解 NotebookLM 系统提示词的?
作者分享通过“逆向推理”破解NotebookLM系统提示词的故事,介绍系统提示词概念、破解原因、策略及从播客音频逆推提示词的方法,还提到该方法的效果及局限性 。
4月30日凌晨,Meta举行首届AI开发者大会LlamaCon,推出Meta AI聊天机器人应用程序与ChatGPT竞争,发布Llama API。Meta试图强化开源模型生态系统以限制OpenAI发展,扎克伯格与微软CEO还探讨了开源闭源模型生态等内容。
强化学习没作用?人大DelTA精准识别关键token,推理正确率大幅上升
人大高瓴研究团队提出DelTA算法,不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架,在多任务上提升base模型效果,还能让训练更稳定。
Google Omni首发「AI视频编辑」功能,AI视频的下一种形态终于来了!
Google Omni首发全模态AI视频编辑功能,是继Banana后AI圈重大技术进步。它能改变视频内容、重绘风格、多轮修改,支持全模态输入,精通物理概念,让AI视频更逼真。
全网实测Gemini Omni!一句话改视频,草图变大片
谷歌在Google I/O大会推出Gemini Omni,它结合推理与生成能力,在多方面有重大飞跃,能生成逼真视频等。它打破命名体系,训练目标不同,有涌现能力,谷歌还为其设置限制。
兼顾效率、成本与能力,百灵开源旗舰推理模型 Ring-2.6-1T
5月15日,蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T,权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数,‘按需思考’,在代理执行、推理机制、训练范式三方面升级,评测表现出色。