「推理系统优化」共找到 4409 篇相关文章

新闻资讯7

Cursor调价风波背后:商业逻辑与用户期待的错位

Cursor在6月16日调整Pro计划收费模式,从请求数限制改为计算量限制,虽称优化却引发用户不满。用户发现服务缩水且沟通模糊,社交媒体上一片失望愤怒声。7月4日Cursor道歉并推出补救措施,但信任修复不易。

AI工程化
产品应用7

昇腾910B大模型实测:开源框架能不能打?真相全放这了

文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。

探索AGI
新闻资讯7

一个让 AI 向 FBI 举报你的办法

GitHub用户t3dotgg分享实验,用几行代码和特定系统提示,让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。

AGI Hunt
新闻资讯7

不再“纸上谈兵”:大模型能力如何转化为实际业务价值

InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。

AI前线
产品应用7

一个记忆库,N 个 AI 助手用!mem0 OpenMemory MCP 打通 Cursor/Claude/Windsurf ~

OpenMemory MCP是本地运行的共享记忆系统,基于MCP协议,让多个AI工具共享上下文记忆。它通吃主流MCP客户端,提供标准API,数据私密,有可视化面板且一键安装。官方列举应用场景,虽扩展性待考,但方向值得关注。

AI进修生
开源动态7

本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。

猛猿
算法论文8

一个场景吃掉700MB显存!3DGS存储焦虑怎么解?这篇综述划了五个方向

过去三年,3D Gaussian Splatting(3DGS)成实时3D场景重建与新视角合成“默认答案”,但场景拓展后有显存、带宽和功耗限制。香港科大等联合发布综述,从底层数据流组织技术版图,给出优化建议和未来方向。

量子位
新闻资讯7

OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?

OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。

芯师爷
新闻资讯7

伏曦量子完成天使及天使+轮融资,五源资本、启盈同创等跟投

近日,伏曦量子宣布完成天使及天使+轮融资,由全球动力电池行业龙头领投,多家机构跟投。该公司由赵琦博士创立,定位是帮助产业客户理解和使用量子算力,其核心价值是优化算法,让问题可在近期硬件测试。

DeepTech深科技
新闻资讯8

模型越强,人的判断力越值钱:微软CEO破解“AI替代”焦虑

微软CEO纳德拉长文探讨‘AI驱动的经济中企业的未来’,指出企业要构建AI学习闭环,让人力资本和AI能力叠加增长。还提出认知闭环概念,强调人的判断力在AI时代更有价值,给出构建学习系统的具体方法。

AIGC开放社区