「推理性能优化」共找到 4157 篇相关文章
ACL 2025｜为什么你设计的 Prompt 会成功？新理论揭示大模型 Prompt 设计的奥秘与效能
英属哥伦比亚大学等团队剖析Prompt在LLM的CoT推理中调控模型内部信息流，构建量化Prompt搜索空间复杂度理论框架。研究解释提示有效的原因，提供设计高效提示词思路，实验验证理论框架。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
打破幻觉！Qwen最新OCR让印章、表格、公式识别准确率飙升45%
基于推理增强框架的视觉语言模型处理OCR任务有成果，但存在生成幻觉问题，特定领域不如专家模型。DianJin - OCR - R1通过推理与工具交互，按‘思考 - 调用工具 - 重新思考’流程提升OCR性能，减少幻觉。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
AI时代，我们为何重写规则引擎？—— QLExpress4 重构之路
AI时代下规则引擎需求旺盛，QLExpress4全面重构。它性能提升，编译和执行性能显著提高；体验优化，支持JSON语法、有表达式追踪功能；还在淘天、钉钉等有应用场景，且对AI友好。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
孙凝晖院士：集成芯片带来三大科学问题
随着摩尔定律发展放缓，集成芯片与芯粒技术对高性能芯片设计制造愈发重要。孙凝晖院士在2025年度晶上系统生态大会指出，集成芯片是提升性能新路径，但芯粒集成度提升带来三大科学问题。