「大语言模型推理」共找到 8238 篇相关文章
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
模型压缩与量化：让大模型走向轻量化落地
文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
想清楚再动手：具身智能也要学会脑补未来和择优执行 | RSS 2025
近年来基础模型在具身智能领域能力惊人，但在真实部署中常‘用不好’。卡耐基梅隆大学与伯克利人工智能研究院团队提出 FOREWARN 框架，结合‘世界模型’与‘多模态语言推理’，解决部署智能难题。
从零开始200行python代码实现LLM
文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。
腾讯混元挖走微软明星大模型团队！一作全员出走，新成果已跻身大模型竞技场TOP 10
微软明星大模型WizardLM一作全员加入腾讯混元，最新成果Hunyuan - Turbos跻身大模型竞技场TOP 10。此前WizardLM - 2发布不顺，且微软将裁员超6000人，国内大厂正激烈争夺大模型人才。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
3D-R1：让AI理解3D世界的下一步
文章介绍新研究3D - R1，它是更通用、具推理能力的三维视觉语言模型，解决了当前3D VLM空间理解不足与推理能力薄弱问题，在多任务测试领先，有广阔应用前景。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。