「图片缓存」共找到 261 篇相关文章
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
看看人家的项目，一行命令即搞定，优雅、好看！
开源君发现神器 Freeze，它由 Charm 团队开发，能将代码文件或终端输出渲染成图片，支持多格式、高度定制，有交互界面，在 GitHub 获 4.4k Star，适合写博客、做分享的人。
我在OpenAI修中文
OpenAI研究科学家陈博远介绍GPT Image 2官网博客花絮，分享模型训练、测试情况，还展示亲手制作的官网图片，包括中文彩蛋、漫画、杂志页等，体现模型文字渲染、视觉推理等能力。
深度解读《AI 智能体的上下文工程》：构建高效 Agent 的七个宝贵教训
作者解读 Manus 团队文章，结合自身理解总结出构建高效 Agent 的 7 个关键点，如依赖上下文工程、提升 Prompt 缓存命中率等，还给出总结与核心启示，对 Agent 开发有借鉴意义。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
英伟达开源上瘾了！推出了一款实时语音智能体的终极 ASR：24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
GPT Image 2研究科学家陈博远：我在OpenAI修中文
GPT Image 2发布引发AI圈震动，主力训练者陈博远分享幕后故事。他和奥特曼同台主持，修好中文渲染，给模型起代号“布基胶带”，还设计多种“彩蛋级”测试，抖出官网图片幕后花絮。
一个任务50次调用，成本狂砍90%？Manus首次公开上下文工程秘诀，一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。