「缓存技巧」共找到 245 篇相关文章
Claude Code + Kimi K2全栈开发教程,1小时上线「"丑咪"挑战赛」!
作者分享用Cursor + Claude code + Kimi K2开发「丑咪挑战赛」全栈项目的体验,介绍组合优势、接入教程、前端测试案例和使用技巧,认为Kimi K2在agent和coding能力上表现不错,适合作为Coding模型。
谷歌一篇论文引爆存储芯片崩盘!AI内存需求暴降6倍,推理狂飙8倍
谷歌发布TurboQuant算法,将缓存压到3 - bit,内存占用降为1/6,推理速度提升8倍。该算法冲击存储巨头,引发股价下跌,虽目前未改变采购量,但改写推理成本,且从论文到落地的路在缩短。
AI操作网页:browser-use和AI大模型互动解析
文章深入解析开源框架browser - use与AI大模型互动方式。它能自动化在线任务,靠精巧prompt设计和不同类型Message输入实现高效交互,还总结出可用于其他大模型交互场景的技巧。
我用大模型砌“屎山雕花”:5天肝出几万行代码!产品经理的AI编程翻车记
作者作为非技术背景的产品经理,分享用大模型编程经历。先借 MCP 搭建应用,后 5 天产出大量代码却问题多。经三次重构领悟协作方法,还总结沟通技巧,指出 AI 编程改变产品经理工作,未来需融合多角色能力。
视频世界模型跑长序列不「崩」了!用光流约束+历史记忆+多步训练,让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题,核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架,通过光流约束、历史缓存检索和多步聚合训练,有效缓解误差累积。
AI优质信息源整理:高质量网站、博主与Twitter资源推荐
文章整理了AI优质信息源,介绍Twitter在AI浪潮中的重要性及筛选优质信息流方法,还列举知乎、B站等平台,以及资讯平台、网站、播客、博客等资源,给出挑选标准和了解领域的技巧。
ZeroGPU Spaces 加速实践:PyTorch 提前编译全解析
本文聚焦 ZeroGPU Spaces 加速实践,介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效,但有局限。提前编译可优化模型,提升演示速度,还分享了接入方法、高级技巧及演示示例。
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。
如何用好 Codex?OpenAI 内部实践指南:7 个最佳应用场景,6 个使用 Tips
OpenAI Codex团队在活动中称积极用Codex构建产品。文章介绍其7个应用场景,如理解代码、重构迁移等,还有6个使用技巧,像从提问模式开始、组织好提示等,展示了Codex在开发中的强大作用。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度,盘点SGLang对单机规模推理的大量工程优化技巧,涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等,助于提升DeepSeek V3/R1在单机H200上的推理性能。