「概念蒸馏训练策略」共找到 2515 篇相关文章
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
大模型到底是怎么「思考」的？第一篇系统性综述SAE的文章来了
在大语言模型时代，人们需要“能解释”的LLM。SAE技术崛起，作者团队发布首篇SAE综述，梳理其技术、演化和挑战。介绍了SAE概念、优势，涵盖其技术框架、可解释性分析等多方面内容。
Meta联合Google新作：语言模型到底“记”了多少东西？
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
阿里开源自主搜索AI Agent，搜论文、网站资讯无所不能
今天凌晨，阿里开源创新自主搜索AI Agent——WebAgent，具备端到端自主信息检索与多步推理能力。还介绍了WebDancer框架从数据构建到训练优化各阶段，助其完成复杂信息检索任务。
爆火论文颠覆RL认知！「错误奖励」让LLM推理暴涨24.6%，学界惊了
最新爆火论文颠覆传统RL训练认知，华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验，发现其对Qwen模型有效，但并非对所有模型都有效。
大模型微调知识与实践分享
文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。
字节跳动2步突破，复杂文档布局解析，为啥如此惊艳？
文章指出现有文档图像解析方案有局限，介绍字节跳动的Dolphin解决方案。它采用分析 - 解析范式分两阶段解析文档，避免传统方法弊端，运行效率高，还给出训练方案、实战代码和试用链接。
万字实录：VLA 范式，具身智能的曙光与迷雾丨GAIR Live
2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。