Prompt缓存诊断功能」共找到 342 篇相关文章

推荐文章7

深入解析|Cursor编程实践经验分享

文章结合近两个月实践,分享Cursor编程经验,探讨其适用场景与问题。介绍使用方法,如标准Prompt、Rules等,还提及MCP工具及Cursor不足,对比DeepResearch等平台,最后介绍AutoGPT、Claude4.0等技术。

阿里云开发者
开源动态8

10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题

推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。

量子位
推荐文章7

大模型微调知识与实践分享

文章详细介绍大型语言模型(LLM)微调知识与实践,包括模型结构、参数量等知识,以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程,介绍相关平台和框架,如星云、TuningFactory等。

阿里云开发者
算法论文8

模型遗忘不代表记忆抹除!首次系统发现「可逆性遗忘」背后规律

研究人员发现大语言模型遗忘并非简单信息删除,可能藏于内部。他们构建表示空间诊断工具,区分可逆与不可逆遗忘,揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证,得出系列结论。

新智元
算法论文8

大模型能力,小模型成本!Google等 | 提出递归混合框架:MoR, 大幅提升LLM计算效率

Google提出递归混合框架(MoR),融合参数共享与自适应计算。它有轻量级路由和KV缓存策略,在不同路由机制各有优劣。实验显示,MoR在性能、计算和内存效率上表现出色,有望实现“大模型能力,小模型成本”。

AINLPer
推荐文章7

评论送书 | 一文读懂多Agent系统演进趋势

文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈,如语义膨胀、信息密度不均等;阐述Agent间协同结构演化,包括松耦合编排、语义协同等;还说明传统Prompt工程局限及通信与上下文协议的作用。

AIGC开放社区
开源动态8

开启端侧长文本时代!面壁全新架构,让小钢炮最快提升220倍

2025智源大会上,面壁智能发布MiniCPM 4.0模型,实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色,降低缓存需求,提高运行效能,还进行多维度架构创新,是AI领域探索高效率语言模型的里程碑。

机器之心
开源动态8

Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍

月之暗面发布开源Kimi Linear架构,用新注意力机制首次超越全注意力模型。长上下文任务中,它减少75%的KV缓存需求,推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。

量子位
算法论文8

谷歌的DeepSeek时刻:LLM推理加速被干到了8倍

谷歌TurboQuant论文介绍量化算法,能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失,还介绍其工作原理及实验结果。

PaperAgent
推荐文章7

从CLI原理出发,如何做好AI Coding

文章从CLI原理出发探讨AI Coding,介绍CLI产品美学、技术原理,比较Single Agent与Multi Agent,还给出用好CLI写代码的建议,如正确认识AI、学习Prompt工程等,最后提及利用通义万相AIGC实现图像生成。

阿里云开发者