底层架构创新」共找到 2721 篇相关文章

推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
产品应用7

亿级日活App的“算力生死劫”:推理成本倒挂,他们靠跨云架构砍掉75% GPU集群

一家AI穿搭+购物推荐的出海应用DAU破亿,但算力和传输成本高,ARPU远低于成本。该企业转向Akamai推理云,换用RTX PRO 6000,缩减服务器集群,降低成本,采用跨云架构过渡,实现零阵痛平替。

量子位
推荐文章8

当数据库的主要用户不再是人类:我们在 AI Agent 场景下的架构实践与思考

文章分享了服务 AI 公司时在 Agent 场景下数据库架构的实践与思考。介绍 Agent 工作负载特征,通过三个案例说明数据库面临的挑战及解法,还提到新需求催生开源项目 mem9,并给出实践教训,指出 AI 时代数据基建重要性。

InfoQ
开源动态8

Issue修复开源No.1!蚂蚁 | 提出代码图模型:CGM,结合GraphRAG架构,领先最强开源7.33%

为解决开源模型在仓库级代码理解上的能力瓶颈,蚂蚁全模态代码算法团队提出 CGM 架构,融合仓库结构与语义信息。CGM 首创图结构与语言模型融合的对齐框架,还搭配了 GraphRAG 框架,在多个代码任务中表现出色,且相关资源均已开源。

AINLPer
产品应用8

GenAI 退烧后,这家企业正在用 “数据平台” 重构AI2B的底层逻辑

GenAI浪潮下,企业级AI落地难。矩阵起源举办新品发布会,其CEO王龙指出落地瓶颈已从大模型转向私域数据。该司推出MatrixOne和MatrixOne Intelligence,构建“数据智能飞轮”,MOI三层架构可打通数据到业务落地流程,还通过案例展现其解决实际痛点能力。

InfoQ
新闻资讯8

核心AI场景首超英伟达,一场国产算力的“破局叙事”|甲子光年

1月26日,天数智芯公布四代架构路线图,其2025年的天数天枢架构,在DeepSeek V3场景实测性能领先英伟达Hopper约20%。该企业以技术创新、解决行业痛点等构建新范式,产品全场景布局且已规模化落地。

甲子光年
产品应用7

Web 开发 AI 就选它?V0复合架构无错误率 93.87% 远超 Claude 4 Opus 单体!

Vercel推出新AI模型v0系列,采用复合模型架构,将RAG专业知识、SOTA大模型推理能力和定制流式后处理模型结合,能提升代码生成质量,且基础模型升级时可快速替换,还训练了定制AutoFix模型。

AI进修生
算法论文8

ICLR 2026|原生多模态推理新范式ThinkMorph ,让文字与图像在统一架构中共同演化

NUS、ZJU 等联合提出「ThinkMorph」,主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型,视觉推理平均提升 34.74%,多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash,还涌现新能力。

机器之心
算法论文8

突破一亿Token极限:EverMind提出MSA架构,实现大模型高效端到端长时记忆

机器之心发布文章介绍,大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构,突破扩展性、精度和效率的不可能三角,实现100M长度的大模型长时记忆框架。

机器之心
推荐文章7

Zed 为什么不用自己造 Agent?OpenAI 架构师给出答案:Codex 重划 IDE × Coding Agent 的分工边界

Coding agents 是应用型 AI 活跃领域,但团队常重复构建脆弱基础设施。OpenAI 的 Codex 提出“模型和 Harness 共同构建”,架构师介绍构建挑战与使用模式,还阐述了将模型适配到 Harness 的问题及未来发展方向。

AI前线