「蒸馏方法」共找到 1627 篇相关文章
The Batch: 942|暗基因组揭秘
AlphaGenome 能解读人类和小鼠基因组中 98% 不编码蛋白质部分,识别多项特征。它经预训练和知识蒸馏,在多项评测超早期模型,API 等免费用于非商业,助研究基因组与生物过程联系。
细粒度视觉推理链引入数学领域,准确率暴涨32%,港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案,解决多模态数学推理难题。它引入特殊Interleave Token,构建专属数据集,采用三阶段训练策略,实验效果全面超越现有方法。
大模型评估排障指南 | 关于 LaTeX 公式解析
这是大模型评估排障指南系列第二篇,聚焦 LaTeX 公式解析。评估难点是解析和比较模型输出与标准答案,无标准方法。lm - evaluation 框架用 sympy 解析准确率约 0.94,还给出缓解问题办法。
重大技术突破!微软发布BioEmu模型,蛋白质模拟从数年压缩至几小时
今天凌晨,微软CEO分享蛋白质模拟模型BioEmu,可将蛋白质动态模拟从数年缩至几小时,已在《自然》发表。它能解决传统方法难题,核心设计独特,训练整合多数据源、采用多阶段策略。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合;首创 Breakable CUDA Graph 并开源,能提高捕获灵活性;还实现 Prefill 的 Full CUDA Graph,同时介绍显存管理方法。
中国科学SCPMA | 南科大王建春团队:基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型,采用“并行”轴向分解注意力机制,提升在复杂流动问题中的表征能力和稳定性。实验显示,改进模型拟合与长期预测能力强,多数指标精度优于传统方法。
开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
清华、墨尔本大学团队研究指出,基于开源模型微调专有模型存在新型隐藏安全风险,开源模型发布者可埋后门窃取下游微调数据,新风险难检测、危害大,目前攻防方法待改进。
Pinterest 利用内容指纹技术,在数百万个域名中实现 URL 去重
Pinterest工程师开发“最小重要查询参数集”(MIQPS)URL标准化系统,用于优化大规模数据采集管道内容去重。它取代传统方法,用数据驱动判断参数重要性,还采用早期退出逻辑等提高效率。
2篇最新论文,把Deep Research讲透了~
阿里开源Tongyi DeepResearch热度高,文章分享两篇相关技术综述。介绍Deep Research是代理研究新范式,阐述其四大核心模块、优化方法、数据处理、奖励机制,还提及开源系统亮点及相关论文。
智能流体力学青年学者论坛第二十六、二十七讲 | 国防科技大学陈新海、北京航空航天大学张天汉
智能流体力学青年学者论坛第二十六、二十七讲分别由国防科技大学陈新海、北京航空航天大学张天汉开讲。陈新海介绍智能网格生成研究进展,搭建科学计算智能体平台;张天汉提出ChatCFD方法,提升CFD可及性。