「RAG性能优化」共找到 3061 篇相关文章
Linux之父彻底入坑AI!Claude Code写内核,性能暴涨3倍
本文报道Linux之父Linus Torvalds在Linux官方内核仓库新增带LLM后缀的分支,他指导Claude Code参与内核内存管理模块的代码编写、测试和文档撰写,优化后多线程读取性能暴涨3倍,还借助AI梳理十年前的旧代码,挖出3个隐藏多年的Bug,打破了Linus此前对AI的质疑。
C3仓库AI代码门禁通用实践:基于Qwen3-Coder+RAG的代码评审
本文介绍C3仓库基于Qwen3 - Coder+RAG的代码评审实践,在CI流水线监听代码修改触发AI评审,可发现逻辑风险、拦截高危缺陷。该实践能提升评审效率与质量,可复用于代码门禁平台或辅助编程工具,当前仍在持续优化。
极致优化Android平台APK的大小
文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。
搜索智能体RAG落地不佳?UIUC开源s3,仅需2.4k样本,训练快效果好
当前 Agentic RAG 落地有挑战,UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本,训练快且效果好,解决了优化目标偏离、检索与生成耦合等问题,在通用和医学 QA 任务中表现出色。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’,介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节,分享其解决 AI 训练存储难题的方案。
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
为什么我不再折腾RAG了
作者曾靠RAG内容获流量,但如今不再关注。一是技术有局限,传统RAG切断知识联系,GraphRAG虽好却未普及;二是RAG能用易、好用难,搭建调试麻烦。作者改用大型工具,还做知识提炼。
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度,还介绍各操作原理、问题及优化方法。