「推理系统优化」共找到 4409 篇相关文章
Cursor调价风波背后:商业逻辑与用户期待的错位
Cursor在6月16日调整Pro计划收费模式,从请求数限制改为计算量限制,虽称优化却引发用户不满。用户发现服务缩水且沟通模糊,社交媒体上一片失望愤怒声。7月4日Cursor道歉并推出补救措施,但信任修复不易。
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
一个让 AI 向 FBI 举报你的办法
GitHub用户t3dotgg分享实验,用几行代码和特定系统提示,让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
一个记忆库,N 个 AI 助手用!mem0 OpenMemory MCP 打通 Cursor/Claude/Windsurf ~
OpenMemory MCP是本地运行的共享记忆系统,基于MCP协议,让多个AI工具共享上下文记忆。它通吃主流MCP客户端,提供标准API,数据私密,有可视化面板且一键安装。官方列举应用场景,虽扩展性待考,但方向值得关注。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
一个场景吃掉700MB显存!3DGS存储焦虑怎么解?这篇综述划了五个方向
过去三年,3D Gaussian Splatting(3DGS)成实时3D场景重建与新视角合成“默认答案”,但场景拓展后有显存、带宽和功耗限制。香港科大等联合发布综述,从底层数据流组织技术版图,给出优化建议和未来方向。
OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?
OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。
伏曦量子完成天使及天使+轮融资,五源资本、启盈同创等跟投
近日,伏曦量子宣布完成天使及天使+轮融资,由全球动力电池行业龙头领投,多家机构跟投。该公司由赵琦博士创立,定位是帮助产业客户理解和使用量子算力,其核心价值是优化算法,让问题可在近期硬件测试。
模型越强,人的判断力越值钱:微软CEO破解“AI替代”焦虑
微软CEO纳德拉长文探讨‘AI驱动的经济中企业的未来’,指出企业要构建AI学习闭环,让人力资本和AI能力叠加增长。还提出认知闭环概念,强调人的判断力在AI时代更有价值,给出构建学习系统的具体方法。