「推理框架开发」共找到 4706 篇相关文章

新闻资讯7

不再“纸上谈兵”:大模型能力如何转化为实际业务价值

InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。

AI前线
开源动态7

本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。

猛猿
推荐文章9

亚马逊 CTO 要来中国了,说实话,这比泛滥的 AI 发布会值得关注

本文梳理亚马逊CTO Werner Vogels从业多年的技术思考路径:从供给侧造工具降低开发门槛,到转向关注使用者与真实需求,反思当前AI热潮下的行业焦虑,指出他本次2026年10月中国行,比泛滥的AI发布会更具关注价值。

InfoQ
新闻资讯7

近 300万人围观卡帕西亲测 Opus 5:两小时写完 5500 行代码, 却连自己写的游戏都玩不了

8月2日,Andrej Karpathy在X公布实验,让Claude Opus 5用Three.js将《指环王》第一章渲染成3D场景,约两小时写出5500行代码。Opus 5按传统游戏开发路线搭建场景,这改变了内容定制方式,但模型验证能力不足。

InfoQ
新闻资讯7

OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?

OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。

芯师爷
开源动态7

AI Labs 都在用,ClickHouse 能成为 AI 日志的实时分析引擎吗?

过去18个月,ClickHouse发展迅猛,2025年末ARR达1.6亿美元,付费云客户超3000。它原是Yandex项目,适合LLM推理日志分析。通过收购拓展为数据平台,进入多市场竞争。文章探讨其增长原因、产品、市场及优劣势等。

海外独角兽
算法论文8

DeepSeek刚解决了AI视觉最后一块拼图:极低成本+精准视觉定位,AI接管电脑已无死角

DeepSeek放出新论文《Thinking with Visual Primitives》,解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案,在多个任务上达前沿水平,但也存在精度、触发机制和泛化能力等局限。

AI寒武纪
开源动态8

谷歌开源“Agent Skill 超级工具箱”,云、库、引擎、AI全线打通,开发者狂喜

在大模型竞争白热化背景下,谷歌为解决开发者难题推出 Agent Skills。官方仓库含多项技能,涵盖谷歌云核心服务及架构支柱技能,还提供常见任务流程指南,兼容多平台,能省开发代码。此前还有 Addy Osmani 开源的技能库。

InfoQ
新闻资讯7

取消AI考核、零裁员!股价暴跌82%后,多邻国走出了一条反硅谷之路

多邻国曾是 AI 转型标杆,股价一度暴涨,但近一年暴跌 80%。创始人 Luis von Ahn 表示不裁员,曾将 AI 应用纳入考核又取消,分享员工用 AI 开发课程案例,还谈了 AI 局限、对行业影响及公司应对策略。

AI前线
新闻资讯7

5V5电竞版Prompt Battle来了,这是AIFUT大会最后的总结。

AIFUT大会结束,最后半天有圆桌、演讲与Prompt Battle电竞赛。余轶南谈具身智能和家庭机器人;5v5电竞赛红队夺冠;神思远等探讨影视行业;快刀青衣等交流AI创业;张泓等讨论AI投资;吕思彤分享开发经验。

数字生命卡兹克