「分布匹配蒸馏」共找到 318 篇相关文章
SceneGen: 单图像驱动的多资产3D 场景生成
上海交通大学提出SceneGen框架,可从单张场景图像及其对应目标掩码中,同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成,在效率与稳健性上优于现有方法,虽有局限但应用潜力大。
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
何恺明改进了谢赛宁的REPA:极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色,但与表征学习领域关联不大。谢赛宁团队提出REPA,不过较麻烦。何恺明团队提出Dispersive Loss,简化且性能强,无需预训练等,适用于多种模型。
黄仁勋:芯片公司的时代已经结束了,现在是 AI 工厂的时代
Lex Fridman 采访黄仁勋,黄仁勋谈对 AI 行业理解,认为 AI 是工业产品,NVIDIA 像建 AI 工厂。还提及算力是智能扩展关键,计算从检索转向生成,Token 细分市场,以及公司组织、架构、开源等多方面观点。
挺搞笑,MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」,不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题,使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常,问题不会随参数规模增大消失。
中国第一批没有论文的工科博士毕业了
国内推出实践型博士学位,不看论文,只认硬核实践产出。自去年9月以来,至少11人获此学位,分布多领域。这一制度由《学位法》推动,且清华创新领军工程博士如周鸿祎也适用。
解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架,可从零训练实现任意步数文生图。它改变训练范式,用两条互补训练信号,在GenEval基准表现出色,让文生图训练更灵活且具扩展性。
打破确定性魔咒!北航团队提出VBF++:用“不确定性建模”刷新多模态视频推荐 SOTA
北京航空航天大学和北京邮电大学联合提出VBF++框架,将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成,在多个数据集上刷新SOTA。
Scaling Law 仍然成立,企业搜广推怎么做才能少踩“坑”?
InfoQ《极客有约》X AICon 直播邀请京东颜林等探讨生成式推荐落地洞察。指出搜广推场景 scaling law 成立且在上升,还分享大模型对搜广推的改变、架构成长方式,及平衡成本等方面的经验。
北大彭一杰教授课题组提出RiskPO,用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO,解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标,用「关注奖励分布左尾」替代「追求整体均值」,在多领域数据集上表现超越 GRPO 等。