搜索：推理加速技术

「推理加速技术」共找到 4901 篇相关文章

视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL

数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

InfoQ与多家AI出海企业交流发现，很多企业放弃常见Agent平台和流行框架，选择自研全栈平台。GMI Cloud升级产品，构建完整基础设施图谱，解决全球算力部署、模型调用和Agent商业化落地问题。

作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。

龙虾（OpenClaw）持续火爆，成为两会热议话题，大厂纷纷入局。腾讯坐不住，3月6日线下提供龙虾服务，现又推出3只龙虾，包括企业微信接入、WorkBuddy远程控制及QClaw内测，解锁无限可能。

ChatGPT三岁生日时，DeepSeek两款开源模型DeepSeek-V3.2和DeepSeek-V3.2-Speciale引发热议。它们在智能体评测中表现出色，缩小了开源与闭源模型差距，还降低了成本，给硅谷闭源AI公司带来压力。

NUS、浙江大学和香港中文大学对强化学习与视觉智能交叉领域进行系统梳理，归纳200余篇工作为四大主题支柱，剖析算法等进展，提炼关键趋势，还介绍LLM的RL方法、视觉RL阵地等。

文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。

AI大战第三年，谷歌和百度火力全开。谷歌Gemini能力出众，谷歌全家桶变身通用Agent；百度40天连发四款新模型，智能云增速惊人。全栈模式展现超强弹性，AI产业导向“全优生”式胜利。

Anthropic的Claude模型升级后，用户却觉得不好用。X上帖子指出其存在文本和代码标记、模型能力、定价、长上下文等问题，这些问题卡在生成、计算、上下文和Agent运行时的5个具体位置，导致各方面互相拖后腿。