「Prompt缓存诊断功能」共找到 342 篇相关文章
高通Nuvia架构介绍
本文详细介绍高通Nuvia架构。Nuvia由经验丰富芯片设计师创立，后被高通收购，旨在强化自研技术、拓展市场。Oryon CPU架构是其成果，虽面临法律争议，但设计独特，多方面表现出色，还具备安全功能和较高性能。
Loop Engineering 实战：实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验，指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式，阐述 Loop 原理、组件及落地实践，还提及范式迁移和踩坑教训。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
PolarDB AI助手：自然语言驱动的智能数据库运维新范式
企业数据库运维复杂度高，专业人才稀缺成瓶颈。阿里云PolarDB推出AI助手，基于大语言模型与专家知识库，有智能问答等核心能力，以自然语言交互降低使用门槛，提升运维效率与系统稳定性。
AliSQL 向量技术解析（一）：存储格式与算法实现
随着AI与大模型应用普及，向量存储与检索需求大增。AliSQL基于MySQL 8.0扩展向量处理能力，本文聚焦其向量索引，介绍存储格式、算法实现，如HNSW算法及插入、搜索等操作，还提及辅助表设计与DDL原子性。
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
Loop Engineering，4层循环自我进化
Loop Engineering旨在解决人工调度agent的问题，设计系统替人prompt。其系统是四层嵌套循环，从内到外分别让agent干活、干得对、知道何时干、越干越好，还指出优化循环结构收益渐增。
这个 Agent Team，终于不是"角色扮演"了
作者测试了 MiniMax 新出的 Agent Team，通过深度研究公司、整理会议逐字稿、做直播数据分析三个测试，展现其优势。指出 Agent Team 核心是对抗式质量门禁，是复杂任务兜底系统，而非简单 prompt 编排。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。