「检索延迟」共找到 458 篇相关文章
“像把大象塞进冰箱一样困难”，端侧大模型是噱头还是未来？
InfoQ《极客有约》X AICon 直播聚焦端侧大模型，探讨其落地挑战与破局思路。专家指出端侧部署有隐私、可用性等优势，但面临内存、精度等难题。华为、支付宝等分享方案，还探讨应用场景、商业模式及未来趋势。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
世界首个「实时、无限」扩散视频生成模型，Karpathy投资站台
Decart发布世界首个「实时、无限」扩散视频模型MirageLSD，输入视频流能快速转化画面，前特斯拉AI总监Karpathy投资。它在时长和延迟上有突破，也有需改进之处。
解读Qwen3文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
用完字节的火山 VikingDB，我都不舍得告诉别人
作者所在团队与字节跳动的VikingDB RAG产品合作研发墨问“知识库”功能。介绍了VikingDB的向量库、知识库和长期记忆库能力，对比传统数据库凸显其优势，还阐述了相关技术推动信息连接变革。
文本分类重大创新：持续学习新增类别，不会灾难遗忘
在生成环境中，传统文本分类方法新增业务标签需从头训练，易致知识灾难性遗忘。今天介绍的自适应分类器，通过四项创新，可实现动态类添加和持续学习，而不会发生灾难性遗忘。
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
谷歌发76页智能体白皮书！你的「AI替身」已上线
谷歌发布76页AI智能体白皮书，剖析其应用前景。涵盖智能体运维、评估方法，探讨多智能体架构，还介绍智能体增强检索生成及企业应用，如NotebookLM企业版、Agentspace空间企业版等。