「缓存复用」共找到 201 篇相关文章
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
卡帕西推荐的AI Coding指南：3招教你效率翻倍
大神卡帕西和OpenAI总裁转发推荐的AI Coding指南，由Peter Steinberger撰写。指南给出三大关键策略，即按任务类型选对模型、重构工作流、做好人机分工，还分享实用小技巧。
哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。
对话心资本吴炳见：我不问AI创业的“终局”｜甲子光年
本文是对心资本合伙人吴炳见的访谈。他2022年底All in AI，分享投资理念，如共鸣时投资、关注当下问题；分析AI发展阶段、应用情况，认为Agent是核心应用形态；还谈及投资案例、学习方式及经验复用与摒弃等。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
生成式视角重塑监督学习！标签不只是答案，更是学习指南 | ICML 2025
上海交大等机构团队在ICML 2025提出预测一致性学习（PCL），通过扩散过程消减标签信息，引入噪声标签，将标签学习分解为渐进式任务，实现标签信息复用。在多模态任务实验中，PCL表现优于传统监督学习。
“商业的HTTP”来了：谷歌CEO劈柴官宣 UCP，Agent 直接“剁手”下单，将倒逼淘宝京东“拆家式重构”？
谷歌CEO近日宣布开放标准UCP，目标是让Agent在线购物，将购物流程拆解成可复用组件。风险投资人认为其想成商业领域的“HTTP”，不少行业人士看好。它还能与其他协议协同，发布首日吸引众多伙伴。
阿里云 Tair 基于 3FS 工程化落地 KVCache：企业级部署、高可用运维与性能调优实践
本文介绍阿里云 Tair KVCache 团队与服务器研发存储软硬件结合团队对 3FS 的工程化升级实践。从性能、产品、运维维度优化，为高性能 KVCache 在企业级 AI 场景落地提供范式，还提及未来 3FS 产品化及服务器硬件升级方向。