「搜索优化」共找到 1622 篇相关文章
长上下文不再难:KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战,现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具,梳理推理优化方法,介绍 MInference 等,还提出 Tri - shape 方法等成果。
斯坦福:优化器「诸神之战」?AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出,虽有不少声称能显著加速的优化器替代方案,AdamW 仍为预训练稳健首选,但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
SQL玩转多模态AI,轻松搞定图片+文本混合搜索
在AI驱动智能商业时代,传统搜索系统难满足需求,AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索,基于PolarDB融合AI引擎,通过SQL调用服务,无需迁移数据与搭建独立服务。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
向量数据库要被取代?DynamoDB 开始原生支持 AI 搜索
Amazon DynamoDB 推出原生向量搜索,允许开发者将嵌入向量与应用数据存一起,直接在其中运行近似最近邻查询,无需单独向量数据库。介绍了功能特点、成本计费及开发者反馈等。
低延迟、高吞吐,LLM优化与高效推理引擎综述
LLM计算成本高,用户要低延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
没想到,32B清华DeepDive掀翻深度搜索全场的!
文章指出大模型在真实深网搜索场景表现不佳,核心矛盾是缺‘难搜’数据和多轮工具调用 RL。清华 DeepDive 用数据合成造‘难搜’题,端到端多轮 RL 训练,在 BrowseComp 刷新开源记录,迁移能力也强。
AI Agent平台Sedai获2000万美元融资,主打云优化
AI Agent平台Sedai获2000万美元B轮融资,由AVP领投。它聚焦云优化,用智能体取代人工运维,节省成本。产品应用广泛,核心能力突出,2024年收入增长7倍,计划扩平台、引新功能、扩市场团队。
150%训练效率提升:感知检测小模型训练优化方法
文章基于业务实践,总结感知检测小模型在不同算力卡上的训练方法,为智能驾驶场景提供借鉴。介绍测试环境、技术架构,分析环境依赖冲突、源代码适配等问题并给出解决方法,还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
Claude团队大揭秘!如何调动多智能体搞深度搜索
Claude团队分享用多智能体构建深度搜索的心得,展示有效多智能体研究系统架构,涵盖系统架构、提示工程、评估方法等内容,还提及系统面临的问题、挑战及额外建议。