「缓存技巧」共找到 245 篇相关文章
Manus首次揭秘:Agent的关键在上下文工程
Agent成大模型主战场,构建方法待探索。Manus发blog揭秘,认为成功的AI Agent依赖上下文工程。团队选此实现快速迭代,虽实践不易,但总结出围绕KV缓存设计等关键点,其经验影响Agent表现。
MCP高手进阶【一】:彻底弄懂生命周期管理器(Lifespan)的机制与用法
文章深入解读MCP SDK开发高级技巧,聚焦生命周期管理器(Lifespan)机制与用法。先介绍Python上下文管理器,再讲FastAPI的lifespan,接着说明MCP Server的使用流程,最后分析不同传输模式下的工作方式。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
卡帕西推荐的AI Coding指南:3招教你效率翻倍
大神卡帕西和OpenAI总裁转发推荐的AI Coding指南,由Peter Steinberger撰写。指南给出三大关键策略,即按任务类型选对模型、重构工作流、做好人机分工,还分享实用小技巧。
吴恩达Agentic AI新课:手把手教你搭建Agent工作流,GPT-3.5反杀GPT-4就顺手的事
吴恩达新课聚焦Agentic AI,将开发沉淀为反思、工具、规划与协作四大设计模式,强调评估与误差分析能力。课程介绍拆解任务、构建工作流方法,还分享实用技巧,让AI系统持续进化。
内存股集体大跌,原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌,诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法,可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失,有望打乱市场对内存芯片增长预期。
更少的token生成更好的图!香港大学联合阶跃星辰等让AI绘画真正理解了再画
香港大学、阶跃星辰等用VFMTok新方法,让图像生成模型借用顶级视觉AI的眼睛看世界,实现更快、高质量图像生成,且无需复杂引导技巧。它改变图像理解方式,将像素死记硬背转为语义理解。
Google官方发布nano banana使用指南
Google官方发布nano banana使用指南,介绍其核心能力,如角色一致性、精确局部编辑等,还给出写提示词的6要素、5种实用技巧,同时指出模型存在风格化不一致、文字渲染易出错等问题。
8B模型可以超过GPT-4o!并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈,作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新,能让 8B 模型性能达 GPT - 4o 的 91.17%,特定任务超 GPT - 4o。
2个设置,让Codex体验翻倍
文章分享两个提升Codex使用体验的技巧。一是在config.toml里添加配置,让非计划模式能主动提问;二是用特定提示词测试gpt的juice值,选正常思考程度的模型使用,提升使用心情。