「概念蒸馏训练策略」共找到 2514 篇相关文章
LLM 长文本处理的“不可能三角”？我们用 E2LLM 把它破解了！
长文本理解与推理是LLM的难题，存在效果、速度、兼容性的“不可能三角”。蚂蚁集团和华东师范大学提出E2LLM新范式，实现三者平衡，在效果和效率上表现出色，开启长文本处理新篇章。
突破遥操瓶颈！全新无本体数据世界动作模型Noe-0发布
穹彻智能发布世界动作模型 Noe - 0，全链路采用无本体采集数据。其数据来自真实环境，配合 World Action Model 架构和 AI - Native 数据基础设施，跑通从真实世界经验到机器人能力转化的完整链路，是具身智能的里程碑。
拒绝“熵崩塌”和“熵爆炸”！这项研究让大模型学会“精确探索”，推理成绩飙升
2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG是大模型落地标配技术，但存在搜到文档却答错的痛点。德国萨尔大学等团队提出Disco - RAG框架，在‘搜’和‘答’间加入‘读懂’环节，已被ACL 2026主会录用，在多基准测试表现优异。
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案，仅用0.1%训练数据实现大模型7倍压缩，保留99%精度。该成果登ICLR 2025 Spotlight，已加入昇腾ModelSlim工具包。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入
字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
腾讯开源Stand-In！轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大，现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架，在身份保留文本生成视频任务中性能先进，兼容性强，有广阔应用潜力。