「文章转述」共找到 1482 篇相关文章
一文看懂“存算一体”
文章介绍存算一体概念,它因传统冯·诺伊曼架构在数据爆炸、AI崛起下暴露“存储墙”“功耗墙”问题而提出。阐述其发展历程、技术路线、存储介质、应用场景,也指出技术、生态、市场方面挑战,前景潜力大。
减少检索增强生成(RAG)语义缓存中的误报:以银行业为例
文章围绕检索增强生成(RAG)语义缓存展开,指出其虽能提升效率,但设计不当会产生假阳性。以金融服务FAQ系统为例,经多组实验,发现缓存设计比模型优化更能减少假阳性,还给出未来架构路线图。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
8种LLM架构设计大比拼:从 DeepSeek-V3 到 Kimi K2,究竟有啥不同
文章对比了8种LLM架构设计,如DeepSeek-V3、OLMo 2等。介绍各模型关键技术,像DeepSeek-V3的多头潜在注意力和混合专家架构,还分析不同设计对性能、效率的影响,助读者了解LLM架构差异。
深度解读|LLM Wiki 的工程实践,从 AI Coding、Obsidian 到 RAG 协同。
文章介绍 LLM Wiki 工程实践。包括为 AI Coding 创建知识地图,指导 Agent 加载上下文;在 Obsidian 构建知识体系,有插件和自定义 Agent 两种方法;还分析其与 RAG 关系,指出可融合互补,不要过度神话 LLM Wiki。
Java 世界的 MCP:将架构策略应用于 LLM 集成
文章指出大语言模型成企业架构组件,但当前集成脆弱。MCP 引入标准化方法,其 Java SDK 重要。文中介绍 MCP 架构、特点,分析其与原生工具调用的权衡,还通过案例展示应用,最后说明适用场景。
Qoder Skills 完全指南:从零开始,让 AI 按你的标准执行
文章介绍Qoder Skills,它是强大AI定制方式,像菜谱让AI按标准执行。阐述本质、结构、原理,对比与其他工具差异,说明适用场景、安装方法,还有实战演示、编写规范、测试迭代及团队协作等内容。
一文读懂:GPU到底是怎么工作的?
文章详细介绍GPU工作原理,对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题,还分析FLOPS、延迟、内存等因素对性能的影响,最后讲了GPU通过多线程和超量订阅获高吞吐量。
除了prompting外,不动参数,如何改变模型行为?
文章指出传统提示工程控制大模型生成行为有缺陷,提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示,定位“原子知识组件”精准控行为,实验效果超现有技术,还能控制推理长度。
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习(IRL)视角回顾LLM对齐进展。先介绍强化学习基础及挑战,将LLM生成过程化为MDP,探讨无奖励函数的MDP,说明需神经奖励模型,还阐述通过奖励建模实现IRL及多种优化方法。