「推理系统」共找到 3598 篇相关文章
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
一个让 AI 向 FBI 举报你的办法
GitHub用户t3dotgg分享实验,用几行代码和特定系统提示,让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
一个记忆库,N 个 AI 助手用!mem0 OpenMemory MCP 打通 Cursor/Claude/Windsurf ~
OpenMemory MCP是本地运行的共享记忆系统,基于MCP协议,让多个AI工具共享上下文记忆。它通吃主流MCP客户端,提供标准API,数据私密,有可视化面板且一键安装。官方列举应用场景,虽扩展性待考,但方向值得关注。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
不做手机缩小版:AI 健康记录迁到手腕,要跨过哪些工程鸿沟?
文章围绕HarmonyOS的穿戴应用,如‘小卡健康’等,探讨将AI健康记录迁移到手腕面临的工程挑战。介绍了应用场景、系统能力调用,以及从接口到产品可用需解决的问题,强调要以用户体验为导向进行产品优化。
OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?
OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。
模型越强,人的判断力越值钱:微软CEO破解“AI替代”焦虑
微软CEO纳德拉长文探讨‘AI驱动的经济中企业的未来’,指出企业要构建AI学习闭环,让人力资本和AI能力叠加增长。还提出认知闭环概念,强调人的判断力在AI时代更有价值,给出构建学习系统的具体方法。
AI Labs 都在用,ClickHouse 能成为 AI 日志的实时分析引擎吗?
过去18个月,ClickHouse发展迅猛,2025年末ARR达1.6亿美元,付费云客户超3000。它原是Yandex项目,适合LLM推理日志分析。通过收购拓展为数据平台,进入多市场竞争。文章探讨其增长原因、产品、市场及优劣势等。
DeepSeek刚解决了AI视觉最后一块拼图:极低成本+精准视觉定位,AI接管电脑已无死角
DeepSeek放出新论文《Thinking with Visual Primitives》,解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案,在多个任务上达前沿水平,但也存在精度、触发机制和泛化能力等局限。