Prompt缓存诊断功能」共找到 342 篇相关文章

新闻资讯7

库克虎口夺食:马斯克盯上的北大校友AI公司被苹果抢走

苹果和马斯克旗下公司争抢Prompt AI,苹果与该公司进入后期谈判,欲买走核心团队和技术资产。Prompt AI是2023年成立的CV初创公司,旗舰产品Seemour用于提升家用摄像头智能感知能力。

量子位
产品应用8

比10年专业医生准4倍!微软发布突破性医疗AI系统

微软首席执行官分享新发布的医疗AI系统MAI - DxO,它模型无关,能适配不同语言模型,模拟医生诊断流程。测试显示其准确率远超专业医生,成本大幅下降。此外还发布序贯诊断基准SDBench。

AIGC开放社区
产品应用7

LLM加速利器LMCache,极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。

GitHubStore
算法论文8

ACL 2026 | LCA:DeepSeek 长文本加速神器,90% KV 缓存缩减 + 2.5 倍推理提速

琶洲实验室等团队提出潜在空间压缩注意力(LCA),入选 ACL 2026。LCA 突破传统注意力机制瓶颈,适配不同大模型,降低硬件门槛与成本,提升推理效率。论文与代码已开源。

机器之心
开源动态8

不用额外缓存!英伟达开源大模型记忆压缩方案,128K上下文提速2.7倍

英伟达联合多机构推出TTT - E2E方法,在长文本处理上提速显著且性能不打折。它基于标准Transformer,将长文本建模转为「持续学习」任务,核心是上下文压缩,避免额外缓存,代码和论文已开源。

量子位
推荐文章7

一文带你看懂,火爆全网的Skills到底是个啥。

文章介绍了火爆AI圈的Skills,它热度堪比当年的Prompts。文中通过AI选题系统和整合包生成器两个案例展示其应用,还对比了它与Prompt、MCP的区别,介绍了基本配置及安装方法,强调其价值在于复用。

数字生命卡兹克
产品应用8

谷歌最强AI图像模型Nano Banana 100+精选案例,商业级 AI 创意图集!附高清Prompt

Awesome-Nano-Banana-images收集Nano-banana在各任务场景生成的惊艳图片与提示词,展示Google图像生成与编辑无限可能。文中列举插画变手办、根据地图箭头生成图片等110个案例及对应输入和提示词。

AI Reading Hub
开源动态8

AI操作有了“紧急刹车”!通义&自动化所AI决策诊断模型,GUI智能体纠错正确率SOTA

阿里通义实验室与中科院自动化所推出GUI - Critic - R1模型,能在GUI智能体操作执行前诊断决策,避免错误。介绍了其动机、方法、数据集及实验,证明该模型在生成判断和提建议方面有效。

量子位
产品应用8

Couchbase与爱奇艺的十年之约:Magma引擎如何破解TB级缓存性能与成本难题?

在AI驱动应用革新浪潮下,海量数据处理的性能与成本平衡成挑战。Couchbase技术直播中,爱奇艺专家分享实践经验,揭秘其如何破解性能、扩展性与成本难题,还介绍了Capella AI Services等。

InfoQ
产品应用7

Figma 自研了 Redis 代理,实现六个 9 可用性

Figma发布自研Redis代理服务FigCache详细实践,替换旧缓存栈。自2025年下半年上线,实现六个9可用性。它基于ResPC构建,分离前后端,配置灵活,处理Redis Cluster问题,迁移策略可回退。

InfoQ