「混合部署」共找到 897 篇相关文章
阿里Qwen3.5小模型发布:0.8B参数就能处理视频,边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型,采用Gated DeltaNet混合注意力机制。有原生多模态设计,解决“内存墙”问题。在多基准测试中表现出色,开发者反响好,但也存在幻觉级联、调试局限等问题。
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。
0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。
刚刚,微软全新一代自研AI芯片Maia 200问世
微软原定于 2025 年发布的下一代 AI 芯片 Maia 200 问世。它基于台积电 3 纳米工艺,性能强、能效高,是异构 AI 基础设施重要部分,将为多个大模型提供支持,已部署在美国中部数据中心区域。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’,无法确认漏洞是否可被利用,导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式,先定位可疑点,再对漏洞进行真实攻击验证,显著降低误报率。
92亿美元创纪录营收背后,AMD从英伟达手中“抢”走了什么?|甲子光年
美国当地时间11月4日,AMD公布2025财年第三季度财报,多项数据创纪录,已悄然抢夺英伟达在AI领域市场。其崛起基于GPU、CPU及软件层面战略部署,在中国市场也有独特策略,但转型仍面临风险。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
“像把大象塞进冰箱一样困难”,端侧大模型是噱头还是未来?
InfoQ《极客有约》X AICon 直播聚焦端侧大模型,探讨其落地挑战与破局思路。专家指出端侧部署有隐私、可用性等优势,但面临内存、精度等难题。华为、支付宝等分享方案,还探讨应用场景、商业模式及未来趋势。
配置驱动的动态Agent架构网络:实现高效编排、动态更新与智能治理
本文提出配置驱动的独立运行时 Agent 架构,解决低代码/平台化 Agent 方案企业级落地难题。介绍其核心架构、注册中心、配置定义等,还提及 Agent Studio、执行引擎等,阐述运行部署、协作、治理,提供通用可落地范式。