「推理缓存优化」共找到 3059 篇相关文章
1.8亿token,Clawdbot是这么吞掉的~
截止发文,开源AI Agent项目Clawdbot(已更名OpenClaw)超134k Star,其吞噬token特性引关注。文章从Code层面拆解高Token消耗根因,分析难以避免的问题,还给出控制Token账单的方法。
天下苦CUDA久矣,又一国产方案上桌了
AI开发中,国产硬件增多,但开发者仍依赖进口生态。KernelCAT作为国产AI Agent应运而生,它能开发高性能算子,在昇腾芯片测试中表现出色,还能助力模型在国产平台高效迁移,限时免费内测。
蚂蚁抛弃向量推荐!用8B小模型构建「用户“话”像」,实现跨模型通用并拿下SOTA
2026年AI开发者关注爆款大模型应用,个性化是关键。蚂蚁集团和东北大学团队推出AlignXplore+,实现文本化用户建模新范式,有全域通用、极致迁移、实战适配特性,小参数超越基线,未来将继续探索。
马斯克刚刚真把 𝕏 平台推荐算法给开源了,核心也是Transformer
𝕏平台(原Twitter)将全新推荐算法开源,由与xAI的Grok模型相同的Transformer架构驱动。该算法预测用户行为对帖子排序。此前平台因算法问题被调查和罚款,开源或有此原因。
裁4000人换来的AI全白搞?Salesforce悄悄改架构:用 “老技术”故障少还省钱,网友怒喊:CEO零遣散费滚蛋
Salesforce曾大举部署AI并裁员,宣称Agentforce能降本。但如今高管称不过度依赖大模型时运行更好,已引入基础自动化技术。其应用遇瓶颈,故障频发、成本高,还面临AI“漂移”等问题。
苹果光速撤回RLAX论文:用了谷歌TPU和阿里Qwen,作者中还有庞若鸣
苹果一篇新论文在 arXiv 公开后匆匆撤稿。该论文揭示基于 TPU 的可扩展 RL 框架 RLAX,用了谷歌 TPU、亚马逊云及阿里 Qwen 模型,还介绍其架构、策略支持等,实验结果亮眼,也分享 Debug 过程。
基于AI大模型的故障诊断与根因分析落地实现
文章围绕基于AI大模型的故障诊断与根因分析展开,介绍项目背景、目标与原理,阐述要解决的运维痛点及技术架构、知识库构建,还提及ReAct模式实现、Dify工作流及ClaudeCode对比,目前根因定位成功率有所提升。
Claude Skills 写作指南:从0到1看完就会,不会来找我
本文介绍Claude Skills写作指南,指出传统提示词使用麻烦,而Skills能解决问题。阐述其适用场景、定义、原理,还讲了创建方法、作者实践及完整写作工作流,可按需管理提示词。
把 Nano Banana/Gemini 3 Pro 榨干!这几点你必须知道
Gemini 3 放出 Pro 和 Nano Banana Pro 两条线,前者主打长上下文、多模态推理,后者专攻像素级生成。文章提炼精髓,给出“通用 + 像素”双模实战笔记,介绍两者使用要点及创意场景实测。
AAAI 2025 Oral | 火山引擎多媒体实验室提出VQ-Insight,AIGC视频画质理解大模型
火山引擎多媒体实验室与北大合作论文《VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning》入选AAAI 2026口头汇报。VQ - Insight用渐进式框架处理AIGC视频画质理解,实验表现卓越。