RAG性能优化」共找到 2978 篇相关文章

推荐文章7

我用了13年,与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享,百度SEO不放弃!

白杨SEO分享从网站优化到AI搜索优化经历,讲述入行缘由、职场项目,介绍自由职业业务,分析百度SEO阶段与变化,建议别放弃,还给出对SEO未来看法,如回归国外、做新媒体SEO等。

白杨SEO优化教程
产品应用7

Codex在推理框架上能蹬出什么优化

作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。

GiantPandaLLM
开源动态7

Meta 开源 Pyrefly,Rust 中的高性能 Python 类型检查器

Meta 开源处于 alpha 阶段的 Pyrefly,它是用 Rust 编写的高性能 Python 类型检查器,灵感源于 Pyre 等工具,旨在取代 Instagram 代码库的 Pyre。它性能出色,还计划今年夏天进 beta 阶段。

InfoQ
推荐文章8

Karpathy又封神!掀翻RAG,把你的笔记变成第二大脑

前OpenAI创始成员Andrej Karpathy提出让大模型把笔记「编译」成持续生长的活Wiki,替代RAG。他将笔记当源代码,LLM当编译器,实现知识结构化。此方案降低维护成本,解放人类注意力。

新智元
推荐文章7

王云鹤眼中的Harness:复杂优化问题,AGI灵魂争夺之战

王云鹤在知乎文章中探讨Harness Engineering,指出Agent=Model+Harness,多模型配合能提升Agent能力。还分析Harness存在的必要性,认为它是复杂优化问题,关乎AI“灵魂”之争。

机器之心
开源动态7

一个Dispatch Dtype引起的fp8 quant kernel性能问题

文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题,因错误使用`c10::Float8_e4m3fn`数据类型,未用硬件加速指令,通过软件调用致性能下降,现已修复,vLLM也应用此修复。

GiantPandaLLM
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
产品应用7

浅析 Amazon S3 Files:工作机制、性能边界与选型思路

4月7日,AWS发布新服务Amazon S3 Files,可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界,与其他对象存储文件化方案对比,指出适用场景。

InfoQ
开源动态8

AgentCPM-Explore开源,4B 参数突破端侧智能体模型性能壁垒

清华大学等联合研发的 AgentCPM-Explore 智能体模型,基于 4B 参数在深度探索类任务表现出色,有打破参数壁垒等亮点,还全流程开源,解决小模型性能提升挑战,邀伙伴共建端侧智能体生态。

AIGC开放社区
算法论文8

当SFT遇上RL:基于样本学习阶段的动态策略优化机制

在大模型推理能力增强研究中,SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法,先判断样本学习阶段再匹配优化路径,在多场景实验中表现出色,不过有实验边界。

量子位