「步数蒸馏」共找到 574 篇相关文章
沉迷贪吃蛇，7B小模型竟变身「数学天才」！几何推理碾压GPT-4o
NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。
打破日韩技术垄断，看国产高端MLCC如何赋能AI机器人
随着数智浪潮到来，AI 赋能的机器人革命正揭开产业变革帷幕。MLCC 作为核心被动电子元器件，已渗透至现代机器人架构中六大关键模块。不同类型机器人对 MLCC 性能要求不同，微容科技构建差异化产品矩阵，打破日韩技术垄断。
都标5美元，账单差三成！OpenAI高管：token从来没法直接比价
OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。
卡帕西入职Anthropic仅两月疑离职；日媒拆解宇树G1后认输：短期内赶不上中国；腾讯317万年终奖员工被辞退：永不录用｜AI周报
这篇 AI 周报涵盖诸多热点，如 AI 大神 Karpathy 入职 Anthropic 两月疑离职；Kimi K3 超越闭源模型引关注，美指控其蒸馏美模型；腾讯员工晒 317 万年终奖被辞退；360 首任董秘追讨股权；多家公司有模型发布、业务调整等动态。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
Nature子刊 Scientific Data | 九家单位联合打造！AeroFlowData
现有湍流数据库多聚焦中低雷诺数基础湍流问题，难应对复杂工程高雷诺数湍流挑战。西北工业大学联合八家机构建全球共享的高雷诺数湍流数据库AeroFlowData，结合多技术获取数据，收录近40类模型、超500种工况，数据近100TB。
AI上清北，普通人该怎么办？｜甲子光年
2025年AI模拟高考成绩达清北线，引发对人类努力意义的思考。三位嘉宾围绕AI能力进步、与人类能力差异、对教育和创作的影响等展开对谈，探讨人类在AI时代的定位、专业选择、教育变革等问题。
AI首次拿下IMO官方满分金牌，背后藏着一套自我纠错机制
在第67届国际数学奥林匹克（IMO 2026）上，小红书的「dots-note-3.0」成为首个获官方满分金牌的AI模型。它解题时自我检查修正，有自主探索能力。之后模型要应对生活中长周期、多变任务的挑战。