算法论文8
何恺明团队新作ELF,连续扩散效果佳
机器之心
AI 摘要
何恺明团队:提出ELF模型,把扩散放连续向量空间,用一个网络完成去噪和解码。实验表明,它用少量数据就有好效果,连续扩散路线或有大潜力。
阅读原文 · 机器之心
刚刚,何恺明团队新作,「嵌入式语言流」ELF来了
何恺明团队提出ELF模型,将扩散过程置于连续向量空间,只在最后翻译成词。它用一个网络实现去噪和解码,引入自条件机制。实验显示,ELF用不到其他方法十分之一数据,生成质量全面领先。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
人大蚂蚁团队发布LLaDA MoE v2及扩展定律
中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。
机器之心
算法论文8
何恺明携本科生推小参数文生图模型
何恺明携本科生团队推出文生图模型MiniT2I,基于MM - JiT架构,仅用258M参数实现不错效果,训练成本低。该架构删繁就简,去掉VAE和AdaLN等模块,性能提升,展现出与工业级模型的竞争力。
量子位
开源动态8
字节开源Cola DLM挑战传统语言模型
字节会师何恺明,开源连续扩散语言模型Cola DLM,释出论文、代码等。该模型跳出离散token束缚,把生成过程交给连续空间,在实验中展现出稳定scaling趋势,其动机是表征而非diffusion。
量子位
新闻资讯8
小模型掀翻千亿参数,AI走向效率为王
5月13日AI圈有两件大事,何恺明团队发布语言模型ELF,面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’,拉开AI轻量化浪潮序幕,未来小模型或成关注方向。
AI科技评论