「预填充阶段」共找到 1013 篇相关文章
大模型的第一性原理：（三）信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
CVPR 2026 | 从视觉Token内在变化量出发，实现VLM无损加速1.87倍
随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。
30人团队震撼英伟达！Jim Fan自曝三个教训，重押世界模型
英伟达Jim Fan带队创立GEAR实验室，30人团队产出惊人，涵盖机器人学习完整技术栈。团队有GR00T基础模型等成果，Jim Fan还分享三个教训，重注视频世界模型，提出仿真世界三阶段，指出物理AI未来是新基础设施。
万字实录：AI究竟是普通人的“印钞机”，还是更狠的「收割机」？| GAIR Live 021
雷峰网&AI科技评论邀三位老师探讨“AI大模型金融应用的机遇与挑战”。以Trading Arena大赛为例，分析大模型在金融投资应用，指出打造强逻辑推理“大脑”是金融应用关键，也提及Agent局限与“黑天鹅”预判路径等。
想成为一名合格的 AI PM，先抛弃过去那些让你成功的经验
文章指出 AI 产品经理与传统产品经理不同，AI 是会演进的系统。掌握 AI 产品策略是 PM 首要技能，从方向、差异化、设计、部署、领导力五阶段构建策略，还介绍了结构化实验方法，无策略的 PM 将被淘汰。
“代码 + 编译器”要消失了？马斯克在 xAI 全员会上放话：到今年年底，AI 或将直接生成二进制
xAI 近期出现离职潮，马斯克公开全员大会视频回应。他表示离职是阶段适配问题，还预测到 2026 年底 AI 或直接生成二进制，跳过编程。此外介绍了 xAI 新架构及各团队进展，强调基础设施重要性，甚至提及将算力扩展到月球。
百度0.9B参数模型登顶全球第一，聊聊PaddleOCR-VL背后的技术细节
百度PaddleOCR-VL模型仅0.9B参数，在OmniDocBench V1.5榜单获92.6分全球第一，在多能力维度达业界最佳，能处理109种语言。其采用两阶段架构，结合优质训练数据，实现高性能与低内存、快速度的平衡。
CVPR 2025 Award Candidate | 英伟达等Difix3D+：用单步扩散模型修复 3D 重建伪影
3D重建领域中，NeRF和3DGS在新视角生成时易出现伪影，影响应用。英伟达团队提出Difix3D+，将预训练2D扩散模型用于3D渲染，单步去伪影，效率高、有泛化力，实验效果领先。