高效推理框架」共找到 3726 篇相关文章

推荐文章8

程序员的提示工程实战手册

文章围绕程序员如何利用提示工程让AI编程助手成为可靠开发伙伴展开。介绍给AI代码助手的提示词技巧、高效代码提示原则,还阐述调试、重构、实现新功能的提示模式,指出常见反模式及应对方法。

宝玉AI
推荐文章7

学习 MCP 最好的时机是 7 个月前,其次是现在

文章介绍 MCP(Model Context Protocol),它是实现 LLM 与外部能力高效互联的协议,像 USB - C 接口。其采用客户端 - 服务器架构,可让 LLM 突破能力边界。与 Function Calling 相比,MCP 成本低,能让业务团队参与构建智能体。

阿里云开发者
新闻资讯7

不再“纸上谈兵”:大模型能力如何转化为实际业务价值

InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。

AI前线
开源动态7

本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。

猛猿
新闻资讯7

OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?

OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。

芯师爷
开源动态7

AI Labs 都在用,ClickHouse 能成为 AI 日志的实时分析引擎吗?

过去18个月,ClickHouse发展迅猛,2025年末ARR达1.6亿美元,付费云客户超3000。它原是Yandex项目,适合LLM推理日志分析。通过收购拓展为数据平台,进入多市场竞争。文章探讨其增长原因、产品、市场及优劣势等。

海外独角兽
算法论文8

DeepSeek刚解决了AI视觉最后一块拼图:极低成本+精准视觉定位,AI接管电脑已无死角

DeepSeek放出新论文《Thinking with Visual Primitives》,解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案,在多个任务上达前沿水平,但也存在精度、触发机制和泛化能力等局限。

AI寒武纪
开源动态8

智能体编程“小钢炮”:Qwen3.6-35B-A3B开源!

Qwen3.6-35B-A3B开源,是稀疏MoE模型,总参350亿、激活参数30亿,轻量高效,在智能体编程等方面表现卓越,超越前代,可与稠密模型媲美,支持多模态,已在Qwen Studio上线并发布开源权重。

千问大模型
推荐文章7

AI 原生软件工程的可观测性与可控制性

文章指出 AI 成研发主力军,改变软件生产方式,传统研发管理办法需升级。当前人和 AI 协作有诸多问题,介绍了研发三阶段,阐述可观测性与可控制性概念、关键指标,以及实现可控制性的要素,强调二者结合构建高效研发体系。

InfoQ
推荐文章8

端到端语音模型:从语音表征到模型架构

本文整理自阶跃星辰语音模型负责人杨学锐在2025年QCon全球软件开发大会的分享。介绍大模型对语音技术的重塑,涵盖识别、合成等方面;阐述端到端语音模型构建,涉及表征、架构、训推和任务;还提及模型评估方法。

InfoQ