单线程线性架构」共找到 1952 篇相关文章

算法论文8

腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合

腾讯公开混元TurboS技术报告,该模型是超大型Hybrid Transformer - Mamba架构MoE模型,融合Mamba与Transformer架构优势,有自适应长短思维链机制,激活参数56B。在多评测中表现佳,推理成本低。

AI前线
算法论文8

为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本

近年来大模型推理开销增长,MoE架构虽能避免计算量同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。

机器之心
推荐文章8

硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构

本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。

机器之心
产品应用8

还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型

华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。

机器之心
新闻资讯7

架构彻底重构!DeepSeek新模型代码曝光,要来的V4让国内外都坐不住了?

DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索,或为V4内部代号。代码显示其有重大架构变更,能并行处理稀疏与稠密计算,适配英伟达新架构。此前R1发布推动中国AI开源生态发展,新模型备受期待。

InfoQ
新闻资讯7

刚刚,1122人干出“国产GPU”第一股,摩尔线程成功IPO:开盘股价疯涨,市值破2800亿!专家:国产AI芯片商业化进入关键期

今天摩尔线程在科创板挂牌上市,募资 80 亿用于核心产品研发。其团队技术强,研发投入高但仍亏损,预计 2027 年盈利。产品迭代快,不过与国际龙头有差距,专家认为国产 GPU 商业化关键在软件生态。

InfoQ
产品应用8

老黄喝豆汁「破防」背后,国产GPU正在填上CUDA护城河

老黄喝豆汁刷屏,但更值得关注的是国产GPU生态。摩尔线程发布会展示MUSA生态,实现全方面覆盖,从兼容到自进化,在云端、端侧应用出色,还打通全链路,且未用最强架构

新智元
新闻资讯7

摩尔线程科创板IPO注册获批

10月30日,摩尔线程科创板IPO注册获证监会许可,是科创板‘1+6’改革后高效完成注册的硬科技企业。其从受理到过会仅88天,构建智算产品线,夸娥万卡智算方案优势明显。

芯师爷
推荐文章7

Patreon 年度回顾中的架构经验

2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目,提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题,还分享多项目实操经验。

InfoQ
推荐文章7

InfoQ 2025 年趋势报告:软件架构和设计

InfoQ 2025 年软件架构和设计趋势报告,借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势,如 LLM 普及但应用场景存疑,还有 Agentic AI、SLM 等创新领域,以及 RAG、AI 辅助开发等不同阶段趋势。

InfoQ