「向量化查询引擎」共找到 606 篇相关文章
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现,其中包含量化Kernel。文章关注此Kernel,介绍在B200上实现高性能Memory Bound Kernel的优化技术,如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
微软开源AI量化神器Qlib
微软开源AI量化平台Qlib,支持多样机器学习范式,解决量化投资挑战。包含数据处理等完整流程,有安装、数据准备等说明,还提供自动化和定制化工作流,以及应对挑战的方案和性能对比。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时,生成多样化查询是关键。多数开源项目处理方法粗放,本文提出结合句向量与子模优化的方法,设计子模目标函数,给出代码实现,实验显示该方法生成的查询组合多样性更高。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
AutoDev 预上下文引擎:预生成代码语义化信息,构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎,指出向量化代码检索性价比低,提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码,支持多语言,使用简单,还可结合 MCP 服务获取上下文知识。
Pinecone 推出 Nexus 引擎:为 AI 智能体整合业务上下文并生成结构化数据
Pinecone Nexus 全面上线,是面向 AI 智能体的“知识引擎”,能将企业数据转为结构化数据层,复用数据提准确性、降成本。早期采用者在金融、法律领域看到显著性能提升,词元消耗大幅降低。
3.8K Star!港大开源 AI 量化神器:一句话生成量化策略,普通人也能玩懂!
港大开源的Vibe - Trading在投资圈火了,它是AI驱动的多智能体金融工作台,能将自然语言请求转化为交易策略等。有多智能体协作架构,内置64个金融技能、29个智能体团队预设,提供4种安装使用方式。
CVPR 2026 | ReFTA:打破张量化PEFT的「权重重建」瓶颈
随着大模型发展,全参数微调成本高,参数高效微调(PEFT)成主流。常见基于矩阵低秩分解的PEFT方法有局限,张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题,有工程和理论优势。
北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!
北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。
浙大开源HugAgentOS:三引擎一体自进化,每步可归因/回放/回滚
过去一年,Agent任务执行能力提升,但不会自主积累与进化。浙大开源的HugAgentOS把Harness拆成三个可自我成长的引擎,设归因和本体两道关卡,解决经验成能力等问题,还覆盖智能体完整链路。