「蒸馏方法」共找到 1627 篇相关文章
【博客转载】NVIDIA Docker CUDA Compatibility /Nsight Compute In Docker
本文围绕NVIDIA Docker CUDA兼容性及Nsight Compute展开。指出使用NVIDIA NGC CUDA Docker容器时，要保证宿主机CUDA驱动与容器内运行时库版本一致，否则会有问题。还介绍了在Docker中安装和使用Nsight Compute的方法及示例。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
单应计算加速数十倍、计算量减少95%！基于几何的SKS和ACA矩阵分解被提出
东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解，计算量比通用方法减超95%，能减少二维码扫描等应用的计算消耗，有望用于多领域，论文已被IEEE T - PAMI接收。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
对话 XYZ-Aquila丨Deep Search SOTA 背后 AI 到底怎么参与改进 AI？
近日，XYZ AI Lab发布两款面向Deep Search的Agent，在评测中领先。其采用AI4AI方法，让AI参与研发判断。团队接受采访，探讨AI4AI含义、与RSI关系、工作范式等，还分享了改进案例和未来方向。
关于CUTLASS Grouped GEMM中Alignment参数的分析
文章围绕CUTLASS Grouped GEMM的Alignment参数展开。介绍其含义与自然对齐有关，既代表访问粒度也指明地址对齐要求。针对CUTLASS 2.x和3.x API分别阐述设置Alignment的方法及原理，还给出编译期推导代码示例。
5秒出4张2K大图！阿里提出2步生成方案，拉爆AI生图进度条
阿里智能引擎团队针对Qwen最新开源模型，将SOTA压缩水平从80 - 100步前向计算骤降至2步，速度提升40倍，5秒可出4张2K高清大图。已发布Checkpoint，集成到呜哩AI平台。文章还分析传统蒸馏方案问题并介绍团队改进策略。
RL在Agentic Reasoning中的作用：拨开迷雾，看清本质
近年大语言模型在推理任务能力惊人，但使用外部工具存挑战。传统SFT无法让模型自主调用工具，强化学习虽被引入，但在智能体推理中面临训练效率、稳定性和泛化能力难题。论文从多维度解构智能体强化学习，提出有效方法。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。