「芯片架构」共找到 2364 篇相关文章
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
阶跃新模型快到“没推理”!印奇上任,果然气势一新
印奇上任后,阶跃星辰发布新一代开源Agent基座模型Step 3.5 Flash,总参数196B,支持256K上下文窗口。它推理快,适配多家芯片厂商,在多场景表现出色,还具备端云协同能力,架构也有多项优化。
以「场景」定义算力:AI时代,通用算力不只“通用”
当AI狂欢席卷全球,阿里云和AMD通过‘一芯三用’重新定义AI时代算力选型逻辑,从‘参数崇拜’回归‘业务本质’。联合发布三款基于AMD Zen 5架构‘Turin’处理器的全新ECS实例,精准匹配不同业务场景需求。
上交大和辉羲把LLM刻进ROM!推理性能冲2万token/s,GPU时代终结?
硅谷Taalas将大模型‘物理焊死’进芯片引关注,而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构,将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。
最高吸金30亿元!2026年半导体融资热点将涌向何方?
2026年1月国内半导体投融资活跃,共13起重点融资事件。资本不再仅投向成熟产品国产化,而是押注能定义未来架构的RISC - V、Chiplet等,还关注芯片设计上游环节。文中介绍了润芯微等多家企业的融资情况。
全球首个英伟达含量为0的万亿模型,成了海外开发者的抢手货
美团推出LongCat-2.0,是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强,适配主流编程工具,架构设计原创,还证明了国产算力有支撑大模型迭代的能力,训推成本更低。
暴涨3倍!光模块背后大赢家
2025年源杰科技股价表现强劲,年初迄今涨幅达348%,反超下游大客户中际旭创。其前三季度业绩爆发,得益于数据中心市场产品放量。随着AI算力需求爆发,光互连技术向CPO架构演进,对光芯片要求提高,源杰科技高端产品突破助其获利。
Nature子刊:港大等首提下一代AI硬件系统,能耗锐减57.2%
港大、港科大与西电团队登上Nature子刊,攻克存算一体架构中模数转换器(ADC)能耗高难题。利用忆阻器可编程特性打造“智能标尺”,使AI芯片功耗降57.2%、面积缩30.7%,为下一代AI硬件开辟新路。
FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
DeepSeek-V3再发论文,梁文锋署名,低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文,从硬件架构和模型设计双重视角,探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计,如 DeepSeekMoE 架构、MLA 架构等,还给出未来硬件架构设计建议。