「推测解码」共找到 116 篇相关文章
逆向工程：ChatGPT 的记忆是如何工作的
文章是工程师eric对ChatGPT记忆系统的深度逆向工程和技术实现推测，详细拆解‘可保存记忆’和‘聊天历史’，分析工作原理、实现方案，探讨其对提升用户体验的作用，认为‘用户洞察’是关键。
Harness is the New Dataset：模型智能提升的下一个关键方向
文章指出当基模能力成熟，决定 agent 上限的是围绕模型搭建的系统，即 harness engineering。介绍其组件、设计原则，探讨模型与 harness 关系，还列举创业机会项目，最后推测下一范式是 Coordination Engineering。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
AI热点选品：当推荐系统遇上“热点”，我们需要一场变革
文章指出当下推荐系统追踪热点滞后，存在时效、解码、迭代困境。为此启动热点AI选品项目，构建自动化热点响应系统，经多环节处理输出优质候选集，还介绍成果、后续优化方向及AIGC图像生成方案。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
弯道超车？国产具身，千小时人类数据激发智能涌现
近日，深度机智用人类学习范式在国际 Benchmark 上击败巨头，成果两会首日被央视报道。其全新架构源于一年多积累。英伟达也有人类学习尝试。深度机智构建全栈技术矩阵，成果显著，3 月底成果将开源。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
好玩！AI“穿越”新玩法火了：根据12岁照片生成23岁的你
AI“穿越”新玩法火了，外国网友让ChatGPT根据12岁照片推测23岁样子还挺准。很多人参与，还有新奇玩法。作者用不同名人照片测试ChatGPT、抖音小程序和豆包，结果各有偏差，但玩法有趣。