「双层缓存」共找到 136 篇相关文章
Anthropic封杀48小时,逼出OpenClaw最强反击!龙虾首次会生视频了
Anthropic封杀OpenClaw免费接口,OpenClaw推出2026.4.5王炸更新,支持视频生成和‘睡眠记忆’系统,还优化提示词缓存。虽与Anthropic有波折,也反映开源项目依赖大厂模型的困境。
即将开源 | 阿里云Tair KVCache Manager:企业级全局 KVCache 管理服务的架构设计与实现
阿里云Tair KVCache团队联合多团队将开源Tair KVCache Manager,介绍其架构设计与实现。该服务应对Agentic AI下KVCache存储挑战,解决传统模式难题,具备企业级管理能力,后续还会完善多方面功能。
时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8
在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍
大语言模型领域,推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力,但开源扩散LLM推理慢。近日,NVIDIA等推出Fast - dLLM,无需训练即插即用,推理速度狂飙27.6倍,兼顾速度与精度。
狼人杀AI对决:手把手教你打造高分Agent
作者参加AI狼人杀比赛,分享构建高分Agent全过程。介绍比赛规则、题目挑战及解题思路,阐述Agent基础能力,如缓存、并发集成等,还提及模型调优、战术策略,最后开源代码,分享心得体会。
罗福莉剧透小米MiMo v3架构:模型还没影,论文全说了
小米罗福莉提前剧透MiMo v3核心新架构HySparse2,该架构针对Agent多轮任务中长上下文输入处理成本高的痛点优化,相关论文已公开,模型尚未正式发布,文中披露了架构设计与实验效果数据。
改写纳米光学底层逻辑!MIT学者搭建通用可重构光子平台
MIT助理教授唐皓凝构建可相对运动的双层纳米光子系统,将机械运动变为可定量科学变量。2024年,她和合作者集成光谱仪和偏振仪功能。她想发展可编程光子架构,还把AI作工具。
重要!LiteLLM 供应链攻击:你的 API 密钥可能已经泄露
3月24日,LiteLLM的PyPI发布页面出现恶意版本,1.82.7和1.82.8被嵌入恶意代码。恶意代码会收集敏感文件、外传信息、进行横向移动。文章还给出检查、处理方法,此事件给开发者提了醒。
还需付费卸载龙虾?这只龙虾能直接「杀死」OpenClaw
OpenClaw曾引发安装热潮,如今因安全风险引发卸载潮。国家相关部门发布风险提示,网上出现卸载服务。而GenericAgent既能装也能卸OpenClaw,还能自我卸载,展现出硬核技术。
马斯克说到做到:开源X平台核心推荐算法
X(原Twitter)开源内容推荐Feed on X召回、精排推理、策略代码,模型参数配置较小,应是简化Demo版。召回用双塔模型,精排用双层Transformer,还介绍了系统架构、模型细节等。