「语言服务」共找到 1695 篇相关文章
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
为 AI 智能体设计记忆机制：揭秘 LinkedIn 的认知记忆智能体
LinkedIn推出认知记忆智能体（CMA），作为生成式AI技术栈一部分，解决大语言模型缺乏状态记忆问题。CMA有三层记忆，集成多种机制，在多智能体系统中作用关键，还将人工校验融入招聘应用。
2025 年 InfoQ 趋势报告：AI、ML 和数据工程
InfoQ AI ML 趋势报告基于编辑团队与嘉宾播客，总结 AI、ML 技术发展趋势。涵盖 AI 代理、多模态语言模型等创新领域，也提及早期采用者、早期多数、晚期多数类别的技术，还对 2025 年相关领域发展作出预测。
刚刚，OpenAI把1GW超算中心直接给了印度！奥特曼即将亲赴三哥办事处
OpenAI计划在印度建设至少1GW规模的数据中心，这是「星际之门」计划首次大规模进入亚洲。印度用户增长潜力大，还有多语言应用场景。虽奥特曼淡出CEO角色，但亲自推动全球算力布局，印度是关键起点。
Codex+hyperframe做视频，让剪辑师们慌了?
开源项目Hyperframes刷屏，它是基于HTML的视频渲染框架，不用视频大模型，用普通语言模型就能生成可控视频。它与Remotion有区别，选了对AI友好的路，还介绍了安装、使用方法和适用场景。
13 万人收藏的 Openclaw 登顶GitHub No.1！附上超绝性价比部署指南！(保姆级)
Openclaw在GitHub上Star数近13万，登上多榜单TOP1。作者介绍用GitHub Codespaces零成本搭建其服务，搭配Kimi K2.5模型和Discord应用，还给出部署步骤、常见问题解决办法及功能演示。
对我来说，Claude Code 就是 AGI
作者分享项目中配置 Google Cloud Pub/Sub 服务的经历，以前手动或借助 ChatGPT 操作繁琐，现在用 Claude Code，只需描述问题，它就能自动完成分析、操作、验证等，作者认为其某种程度算 AGI。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。